什麼是BerriAI-litellm?
BerriAI-litellm 是一個開源 AI Gateway,提供統一介面以 OpenAI 格式呼叫超過 100 種 LLM 供應商。開發者可直接整合 Python SDK,或部署 Proxy Server 作為集中式服務管理團隊的模型呼叫與成本追蹤。
BerriAI-litellm的特色是什麼?
- 統一 API 介面透過單一介面呼叫 OpenAI、Anthropic、Gemini、Bedrock 等 100+ LLM 供應商,支援 chat/completions、embeddings、images 等多種端點格式。
- 自動路由 (Auto Routing)根據提示詞複雜度動態選擇模型,將簡單請求導向快速模型,複雜請求導向能力較強模型。
- MCP 工具連接允許將 MCP servers 連接至任何 LLM,並透過 /chat/completions 端點呼叫 MCP 工具。
- A2A 代理調用支援 LangGraph、Vertex AI Agent Engine 等協議,可透過 A2A SDK 或 Proxy 調用遠端代理。
- 成本追蹤與虛擬金鑰提供專案/使用者層級的成本追蹤、支出管理,以及用於安全存取控制的虛擬金鑰功能。
- Agent Harnesses可在任意模型上執行 Claude Code、Codex 等代理工具,並透過 Sandbox 進行本地程式碼操作。
BerriAI-litellm的使用案例有哪些?
- ML Platform Teams部署 Proxy Server 作為集中式服務,利用管理儀表板監控多租戶成本與權限。
- Python Developers在現有 Python 專案中直接引入 litellm SDK,無需重寫程式碼即可切換不同 LLM 供應商。
- Enterprise Security使用企業版授權獲取單一登入 (SSO)、自訂整合及專業技術支援。
如何使用BerriAI-litellm?
- 安裝套件執行
uv add litellm安裝 Python SDK,或使用uv tool install 'litellm[proxy]'安裝 Proxy Server。 - 設定環境變數設置對應供應商的 API Key(如
OPENAI_API_KEY)或 Proxy 所需的虛擬金鑰。 - 初始化客戶端在 Python 中匯入
litellm並呼叫completion函數,指定模型名稱與訊息內容。 - 啟動 Proxy 服務執行
litellm --model gpt-4o啟動本地 Gateway,並使用標準 OpenAI 客戶端指向該 URL。
BerriAI-litellm定價信息:
- Open Source免費使用核心 Gateway 功能,包括基本路由、SDK 整合與自託管部署。
- Enterprise License需單獨洽詢報價,包含進階安全性、SSO、優先功能開發、自訂整合及專業支援服務。









