什麼是Berri？
LiteLLM 是一個強大的工具，讓開發者能夠輕鬆存取超過 100 種大型語言模型（LLMs），並提供負載平衡、備援機制和費用追蹤功能。所有操作都基於 OpenAI 的格式，讓開發者無需重新學習新的 API 架構。
Berri的特色是什麼？
- 模型存取控制：透過虛擬金鑰、團隊和模型存取群組來管理模型使用權限。
- 費用追蹤與預算限制：追蹤模型使用費用，並為不同團隊、金鑰和標籤設定預算限制。
- 負載平衡與速率限制：確保模型使用的高效性，避免過載。
- OpenAI 相容 API：支援超過 100 種 LLMs，並兼容 /chat/completion、/embedding 等 OpenAI 格式。
- 自助管理平台：讓團隊能夠自行登入並管理他們的生產金鑰。
Berri的使用案例有哪些？
- 企業內部 AI 應用：透過 LiteLLM 統一管理多種 LLMs，提升開發效率。
- AI 專案遷移：使用 Pass-through 端點輕鬆遷移現有專案，並內建費用追蹤與日誌功能。
- 團隊協作：透過自助管理平台，讓不同團隊自行管理模型使用權限。
如何使用Berri？
- 安裝 LiteLLM Python SDK 或部署 LiteLLM Gateway。
- 設定虛擬金鑰和模型存取群組。
- 開始追蹤模型使用費用並設定預算限制。
- 使用 OpenAI 相容 API 存取多種 LLMs。
