Question 1

什麼是Berri？

Accepted Answer

**LiteLLM** 是一個強大的工具，讓開發者能夠輕鬆存取超過 100 種大型語言模型（LLMs），並提供負載平衡、備援機制和費用追蹤功能。所有操作都基於 OpenAI 的格式，讓開發者無需重新學習新的 API 架構。

Question 2

Berri的特色是什麼？

Accepted Answer

* **模型存取控制**：透過虛擬金鑰、團隊和模型存取群組來管理模型使用權限。
* **費用追蹤與預算限制**：追蹤模型使用費用，並為不同團隊、金鑰和標籤設定預算限制。
* **負載平衡與速率限制**：確保模型使用的高效性，避免過載。
* **OpenAI 相容 API**：支援超過 100 種 LLMs，並兼容 /chat/completion、/embedding 等 OpenAI 格式。
* **自助管理平台**：讓團隊能夠自行登入並管理他們的生產金鑰。

Question 3

Berri的使用案例有哪些？

Accepted Answer

* **企業內部 AI 應用**：透過 LiteLLM 統一管理多種 LLMs，提升開發效率。
* **AI 專案遷移**：使用 Pass-through 端點輕鬆遷移現有專案，並內建費用追蹤與日誌功能。
* **團隊協作**：透過自助管理平台，讓不同團隊自行管理模型使用權限。

Question 4

如何使用Berri？

Accepted Answer

1. 安裝 LiteLLM Python SDK 或部署 LiteLLM Gateway。
2. 設定虛擬金鑰和模型存取群組。
3. 開始追蹤模型使用費用並設定預算限制。
4. 使用 OpenAI 相容 API 存取多種 LLMs。

Question 5

LiteLLM 支援哪些 LLM 提供者？

Accepted Answer

LiteLLM 支援超過 100 種 LLM 提供者，包括 Azure、Gemini、Bedrock 和 OpenAI 等。

Question 6

如何追蹤模型使用費用？

Accepted Answer

透過 LiteLLM 的日誌和費用追蹤功能，您可以將資料記錄到 s3、datadog、OTEL 等平台。

Question 7

LiteLLM 是否提供企業版？

Accepted Answer

是的，LiteLLM 提供企業版，包含雲端或自架部署、企業支援、JWT 認證、SSO 和審計日誌等功能。