BerriAI-litellm logo

BerriAI-litellm

BerriAI-litellm 提供統一的 OpenAI 格式介面以管理 100+ LLM 呼叫,並具備成本追蹤與自動路由功能。

社交媒體:
BerriAI-litellm

BerriAI 產品信息

什麼是BerriAI-litellm?

BerriAI-litellm 是一個開源 AI Gateway,提供統一介面以 OpenAI 格式呼叫超過 100 種 LLM 供應商。開發者可直接整合 Python SDK,或部署 Proxy Server 作為集中式服務管理團隊的模型呼叫與成本追蹤。

BerriAI-litellm的特色是什麼?

  • 統一 API 介面
    透過單一介面呼叫 OpenAI、Anthropic、Gemini、Bedrock 等 100+ LLM 供應商,支援 chat/completions、embeddings、images 等多種端點格式。
  • 自動路由 (Auto Routing)
    根據提示詞複雜度動態選擇模型,將簡單請求導向快速模型,複雜請求導向能力較強模型。
  • MCP 工具連接
    允許將 MCP servers 連接至任何 LLM,並透過 /chat/completions 端點呼叫 MCP 工具。
  • A2A 代理調用
    支援 LangGraph、Vertex AI Agent Engine 等協議,可透過 A2A SDK 或 Proxy 調用遠端代理。
  • 成本追蹤與虛擬金鑰
    提供專案/使用者層級的成本追蹤、支出管理,以及用於安全存取控制的虛擬金鑰功能。
  • Agent Harnesses
    可在任意模型上執行 Claude Code、Codex 等代理工具,並透過 Sandbox 進行本地程式碼操作。

BerriAI-litellm的使用案例有哪些?

  • ML Platform Teams
    部署 Proxy Server 作為集中式服務,利用管理儀表板監控多租戶成本與權限。
  • Python Developers
    在現有 Python 專案中直接引入 litellm SDK,無需重寫程式碼即可切換不同 LLM 供應商。
  • Enterprise Security
    使用企業版授權獲取單一登入 (SSO)、自訂整合及專業技術支援。

如何使用BerriAI-litellm?

  1. 安裝套件
    執行 uv add litellm 安裝 Python SDK,或使用 uv tool install 'litellm[proxy]' 安裝 Proxy Server。
  2. 設定環境變數
    設置對應供應商的 API Key(如 OPENAI_API_KEY)或 Proxy 所需的虛擬金鑰。
  3. 初始化客戶端
    在 Python 中匯入 litellm 並呼叫 completion 函數,指定模型名稱與訊息內容。
  4. 啟動 Proxy 服務
    執行 litellm --model gpt-4o 啟動本地 Gateway,並使用標準 OpenAI 客戶端指向該 URL。

BerriAI-litellm定價信息:

  • Open Source
    免費使用核心 Gateway 功能,包括基本路由、SDK 整合與自託管部署。
  • Enterprise License
    需單獨洽詢報價,包含進階安全性、SSO、優先功能開發、自訂整合及專業支援服務。

BerriAI-litellm聯絡郵件:

ishaan@berri.ai

喜歡這個工具嗎?

按讚幫助更多人發現它!

BerriAI 替代方案

Eden AI

Eden AI

Eden AI 提供單一 API 連接千餘種模型,具備成本路由、歐盟資料主權端點及詳細的組織預算治理功能。

FR
12.59%
173.8K
0
OpenRouter

OpenRouter

OpenRouter 讓開發者透過統一 API 存取 600+ 個 AI 模型,無需訂閱即可按用量付費。

US
16.13%
19.9M
0
Portkey.ai - Control Panel for AI Apps

Portkey.ai - Control Panel for AI Apps

Portkey.ai - Control Panel for AI Apps 提供統一 API 整合逾 1,600 種 LLM,具備即時可觀察性與 PII 自動遮蔽功能。

US
34.91%
195.7K
0
AI/ML API

AI/ML API

AI/ML API 透過單一介面聚合 500+ 模型與代理工具,提供零加價計費與自動路由優化功能。

US
14.37%
232.9K
0
ApiFlux

ApiFlux

ApiFlux 是一個 AI 路由器,讓開發者透過單一 API 金鑰存取 100+ 前沿模型,自動故障轉移、透明按 token 定價,比官方列表價低 15%。

US
100.00%
2.3K
0
CometAPI

CometAPI

CometAPI 是相容於 OpenAI SDK 的統一介面,讓開發者透過單一金鑰存取逾 500 種 AI 模型並享受折扣定價。

IN
23.42%
603.0K
0
Scalekit

Scalekit

Scalekit 是一個 MCP Gateway,為 AI Agents 提供具備自動驗證、權限控管及日誌記錄的统一工具存取介面。

US
33.64%
108.2K
0
Higress.AI

Higress.AI

Higress.AI 是一個全方位的 AI 網關解決方案,幫助企業高效管理 LLM API 和 Agent 開發,支援多模型代理、語義緩存和安全審計等功能。

CN
72.00%
13.3K
0

BerriAI 相關其他類別

BerriAI 流量分析

此產品託管於共享平台 github.com,平台整體流量不代表此產品流量。此處不顯示平台流量,此工具不參與流量排行榜。

BerriAI 常見問題

LiteLLM 是否僅支援 OpenAI 格式的請求?

主要支援 OpenAI 格式以確保相容性,但也原生支援 Anthropic 的 /messages 等其他特定供應商的端點格式。

如何驗證官方 Docker 映像檔的安全性?

所有發布至 GHCR 的映像檔均使用 cosign 簽名,建議透過固定的 commit hash 來驗證簽名金鑰以確保完整性。

BerriAI 評論

0
0 評論
登錄後發表評論

最新評論

暫無評論

BerriAI 嵌入

使用網站徽章為SeekTool.ai提供社群支持。它們很容易嵌入到您的首頁或頁腳中。

淺色
深色
BerriAI-litellm - Featured on SeekTool.aiBerriAI-litellm - Featured on SeekTool.ai
如何安裝?

分類排行榜

按月流量排名