什麼是GMI Cloud？
GMI Cloud 提供整合 GPU 叢集、最佳化推理與代理執行環境的 AI 基礎設施，專為生產規模設計。使用者可透過控制台啟動伺服器無感推理，或擴展至專用 GPU 基礎設施以應對增長的工作負載。
GMI Cloud的特色是什麼？
- 伺服器無感推理預設自動縮放至零以避免閒置成本，內建批次處理與延遲感知排程功能。
- 專用 GPU 基礎設施基於 NVIDIA Reference Platform Cloud Architecture 驗證，提供具備 RDMA 網路的裸機 GPU 與 Root 存取權限。
- 多模型 API 支援提供適用於 LLM 和多模態模型的生產級 API，並確保多租戶隔離以維持效能穩定性。
- 彈性架構擴展允許從 API 推理無縫過渡到完整 GPU 叢集，無需重新建構技術堆疊。
GMI Cloud的使用案例有哪些？
- 高頻即時生成處理即時生成影片工作負載，降低 p95 推理延遲並提升峰值流量下的請求成功率。
- 基礎模型訓練利用 H100/H200 等高記憶體頻寬 GPU 進行大規模模型開發，優化訓練時間與基礎設施成本。
- 公共部門部署透過靈活的基礎設施分配與託管 AI 存取，支持政府及教育領域的企業級 AI 採用。
如何使用GMI Cloud？
- 啟動服務在 GMI Cloud Console 中開始使用伺服器無感推理服務。
- 選擇資源根據需求選用 NVIDIA H100、H200 或 Blackwell 平台的 GPU 定價方案。
- 整合應用呼叫生產級 API 運行 LLM 或多模態模型，系統將自動處理縮放與流量管理。
GMI Cloud定價信息：
- NVIDIA H100$2.60 /GPU-hour，適用於需要高記憶體頻寬的推理與訓練任務。
- NVIDIA H200$3.20 /GPU-hour，針對大規模訓練與推理進行最佳化。
- NVIDIA Blackwell開放預購（Pre-order），即將推出，適合需要最大效能餘裕的大規模部署團隊。
