Question 1

什麼是Modal？

Accepted Answer

Modal 是一個**高效能 AI 基礎設施**，專為開發者設計的無伺服器雲端平台，讓你能輕鬆運行 CPU、GPU 和數據密集型計算。無論是 AI、ML 還是數據應用，Modal 都能提供快速、靈活的解決方案。

Question 2

Modal的特色是什麼？

Accepted Answer

* **秒級容器啟動**：基於 Rust 的容器堆疊，讓你在雲端迭代速度與本地一樣快。
* **零配置文件**：輕鬆定義硬體和容器需求，直接與 Python 函數結合。
* **秒級擴展至數百個 GPU**：自動擴展容器，無需擔心速率限制。
* **靈活環境**：支持自定義鏡像，並可擴展資源，使用最新的 GPU 如 H100 和 A100。
* **無縫整合**：輕鬆將日誌導出至 Datadog 或其他 OpenTelemetry 兼容的供應商，並掛載主要雲端存儲（如 S3、R2 等）。

Question 3

Modal的使用案例有哪些？

Accepted Answer

* **生成式 AI 推理**：快速冷啟動，無縫擴展，處理突發和不可預測的負載。
* **微調和訓練**：無需管理基礎設施，立即啟動訓練，並在完成後停止支付閒置 GPU 的費用。
* **批量處理**：針對高容量工作負載進行優化，運行大規模 CPU 和記憶體計算。
* **語言模型**：部署 OpenAI 兼容的 LLM 服務，運行大型語言模型。

Question 4

如何使用Modal？

Accepted Answer

1. **註冊 Modal 帳戶**：前往官網註冊並獲取 $30 的免費計算額度。
2. **定義硬體需求**：在 Python 函數旁輕鬆定義硬體和容器需求。
3. **部署應用**：使用 Modal 的裝飾器快速部署 Python 函數，享受秒級擴展。

Question 5

Modal 的計算成本如何？

Accepted Answer

Modal 按秒計費，GPU 任務如 Nvidia H100 每秒 $0.001097，CPU 每核心每秒 $0.000013。

Question 6

Modal 支持哪些雲端存儲？

Accepted Answer

Modal 支持主要雲端存儲如 S3、R2 等，並可輕鬆掛載。

Question 7

Modal 的擴展速度如何？

Accepted Answer

Modal 可以在幾秒內擴展至數百個 GPU，並自動縮減至零，無需擔心速率限制。