什麼是RunPod？
RunPod 是供開發者實驗、訓練與部署 AI 工作負載的雲端平台。使用者可透過 Pods、Serverless 或 Clusters 租用 GPU，並在全球 31 個區域中存取超過 30 種 GPU SKU。
RunPod的特色是什麼？
- 按需 GPU 執行環境提供 Pods（持續運算）、Serverless（自動縮放端點）及 Clusters（多節點分散式運算），支援 H100、A40 等型號。
- 無伺服器自動擴縮容Serverless 功能可從零至數千個運算工作者即時調整，閒置時成本為零，冷啟動時間低於 200 毫秒。
- 全域網路儲存提供持久化網路儲存空間，支援完整 AI 流程且無數據傳輸出口費用。
- 批次推論服務Batch Inference 已正式推出於 Runpod Serverless，用於處理大規模非即時推論任務。
RunPod的使用案例有哪些？
- 模型訓練與微調使用 Clusters 進行分散式訓練，或利用 Pods 快速啟動具備特定框架與程式碼的容器環境。
- AI 代理託管結合 Serverless 端點進行快速工具呼叫，並使用 Pods hosting 需要保持狀態的 AI 代理。
- 高併發推論應用在低延遲需求下，利用 Serverless 處理每秒數百至上千次的推論請求，避免支付閒置容量成本。
如何使用RunPod？
- 選擇基礎設施類型根據工作負載特性選取 Pods、Serverless 或 Clusters。
- 配置資源參數指定所需的 GPU 型號（如 B200、RTX 4090）及全球部署區域。
- 部署與執行上傳程式碼或容器鏡像，Launch a GPU pod 或在 Serverless 寫入 handler 後推送以建立端點。
RunPod定價信息：
- 免費試用入口提供 Get started for free 選項，具體額度未詳述。
- Pods 計費模式分為 Reserved（保證容量）與 Spot（可中斷、價格較低）兩種方案，按小時或秒計費。
- Serverless 計費機制僅對實際使用的運算資源付費，端點閒置時不產生費用。
