什么是BerriAI-litellm?
BerriAI-litellm 是一个开源 AI 网关,提供统一的接口以 OpenAI 格式调用 100+ LLM 提供商。它支持作为 Python SDK 直接集成或部署为集中式代理服务,适用于需要管理多模型调用、成本追踪及负载均衡的开发团队。
BerriAI-litellm的核心功能有哪些?
- 统一 API 接口允许通过单一界面使用 OpenAI 格式调用超过 100 种不同的 LLM 服务,无需处理各提供商特定的 SDK 和认证模式。
- Python SDK 集成开发者可直接在代码库中引入 litellm 库,利用 Router 功能实现跨多个部署的重试、回退逻辑以及应用级负载均衡。
- AI Gateway (Proxy Server)提供集中式服务,包含虚拟密钥访问控制、按项目/用户的多租户成本追踪、护栏(guardrails)以及管理员仪表盘 UI。
- 自动路由 (Auto Routing)根据提示词的复杂度自动选择最合适的模型(如简单任务用快速模型,复杂推理用能力更强模型),支持启发式分类器配置。
- MCP 工具连接允许将 MCP (Model Context Protocol) 服务器连接到任意 LLM,支持通过 /chat/completions 端点调用 MCP 工具。
- A2A 代理调用支持通过 A2A 协议调用 LangGraph、Vertex AI Agent Engine 等兼容的代理,实现代理间的通信与任务执行。
BerriAI-litellm的使用案例有哪些?
- 多模型供应商切换在不重写业务代码的情况下,通过保持 OpenAI 兼容性轻松在不同 LLM 提供商(如 Azure, AWS Bedrock, Anthropic)之间切换。
- 企业级成本控制ML 平台团队使用 Proxy Server 为不同项目或用户分配虚拟密钥,实时监控并限制每个项目的 API 支出。
- 智能模型分发开发者配置 Auto Router,使系统能自动识别用户请求的复杂性,将简单查询路由至低成本模型,复杂查询路由至高能力模型以优化性价比。
如何使用BerriAI-litellm?
- 安装依赖运行
uv add litellm安装 Python SDK,或使用uv tool install 'litellm[proxy]'安装代理服务器组件。 - 配置环境变量设置所需 LLM 提供商的 API Key(如
OPENAI_API_KEY)及 LiteLLM 相关配置。 - 启动服务或初始化若使用 SDK,直接在 Python 代码中导入
litellm;若使用 Proxy,运行litellm --model <model_name>启动本地网关。 - 发起请求通过标准 OpenAI 客户端库指向本地网关地址(如
http://0.0.0.0:4000)或直接调用 SDK 的completion函数发送消息。 - 验证响应检查返回的模型名称和内容,确认请求已通过指定的路由策略(如自动路由或特定模型组)正确处理。
BerriAI-litellm定价信息:
- 开源版本免费使用,需自行托管部署,具备核心网关功能及社区支持。
- Enterprise License针对需要更高安全性、单点登录 (SSO)、专业支持及自定义 SLA 的企业用户提供商业许可,具体价格需联系销售。









