什么是Berri？
LiteLLM 是一个强大的工具，帮助开发者轻松访问和管理超过 100 种大型语言模型（LLMs）。它提供了负载均衡、备用方案和支出跟踪功能，并且所有操作都基于 OpenAI 的格式。无论是 Azure、Gemini 还是 Bedrock，LiteLLM 都能让你无缝接入这些平台。
Berri的核心功能有哪些？
- 模型访问控制：通过虚拟密钥、团队和模型访问组来控制模型的使用权限。
- 预算与速率限制：跟踪支出并设置预算限制，确保资源合理分配。
- 日志与支出跟踪：将请求、响应和使用数据记录到 s3、datadog、OTEL 等平台。
- OpenAI 兼容 API：以 OpenAI 格式访问 100+ LLMs，支持 /chat/completion、/embedding 等接口。
- 自服务门户：允许团队登录并管理自己的密钥，提升生产环境的灵活性。
Berri的使用案例有哪些？
- 企业级模型管理：适合需要管理多个 LLMs 的企业，确保资源高效利用。
- 开发者工具：帮助开发者快速迁移项目，并通过代理端点进行支出跟踪和日志记录。
- 团队协作：通过自服务门户，团队成员可以独立管理密钥，提升工作效率。
如何使用Berri？
- 安装 LiteLLM Python SDK，快速接入各种 LLMs。
- 使用 LiteLLM Gateway 作为代理，实现模型访问、备用方案和支出跟踪。
- 通过自服务门户，团队成员可以轻松管理自己的密钥。
