BerriAI-litellm logo

BerriAI-litellm

BerriAI-litellm 提供统一接口以 OpenAI 格式调用百种 LLM,支持自动路由、成本追踪及 MCP/A2A 集成。

社交媒体:
BerriAI-litellm

BerriAI 产品信息

什么是BerriAI-litellm?

BerriAI-litellm 是一个开源 AI 网关,提供统一的接口以 OpenAI 格式调用 100+ LLM 提供商。它支持作为 Python SDK 直接集成或部署为集中式代理服务,适用于需要管理多模型调用、成本追踪及负载均衡的开发团队。

BerriAI-litellm的核心功能有哪些?

  • 统一 API 接口
    允许通过单一界面使用 OpenAI 格式调用超过 100 种不同的 LLM 服务,无需处理各提供商特定的 SDK 和认证模式。
  • Python SDK 集成
    开发者可直接在代码库中引入 litellm 库,利用 Router 功能实现跨多个部署的重试、回退逻辑以及应用级负载均衡。
  • AI Gateway (Proxy Server)
    提供集中式服务,包含虚拟密钥访问控制、按项目/用户的多租户成本追踪、护栏(guardrails)以及管理员仪表盘 UI。
  • 自动路由 (Auto Routing)
    根据提示词的复杂度自动选择最合适的模型(如简单任务用快速模型,复杂推理用能力更强模型),支持启发式分类器配置。
  • MCP 工具连接
    允许将 MCP (Model Context Protocol) 服务器连接到任意 LLM,支持通过 /chat/completions 端点调用 MCP 工具。
  • A2A 代理调用
    支持通过 A2A 协议调用 LangGraph、Vertex AI Agent Engine 等兼容的代理,实现代理间的通信与任务执行。

BerriAI-litellm的使用案例有哪些?

  • 多模型供应商切换
    在不重写业务代码的情况下,通过保持 OpenAI 兼容性轻松在不同 LLM 提供商(如 Azure, AWS Bedrock, Anthropic)之间切换。
  • 企业级成本控制
    ML 平台团队使用 Proxy Server 为不同项目或用户分配虚拟密钥,实时监控并限制每个项目的 API 支出。
  • 智能模型分发
    开发者配置 Auto Router,使系统能自动识别用户请求的复杂性,将简单查询路由至低成本模型,复杂查询路由至高能力模型以优化性价比。

如何使用BerriAI-litellm?

  1. 安装依赖
    运行 uv add litellm 安装 Python SDK,或使用 uv tool install 'litellm[proxy]' 安装代理服务器组件。
  2. 配置环境变量
    设置所需 LLM 提供商的 API Key(如 OPENAI_API_KEY)及 LiteLLM 相关配置。
  3. 启动服务或初始化
    若使用 SDK,直接在 Python 代码中导入 litellm;若使用 Proxy,运行 litellm --model <model_name> 启动本地网关。
  4. 发起请求
    通过标准 OpenAI 客户端库指向本地网关地址(如 http://0.0.0.0:4000)或直接调用 SDK 的 completion 函数发送消息。
  5. 验证响应
    检查返回的模型名称和内容,确认请求已通过指定的路由策略(如自动路由或特定模型组)正确处理。

BerriAI-litellm定价信息:

  • 开源版本
    免费使用,需自行托管部署,具备核心网关功能及社区支持。
  • Enterprise License
    针对需要更高安全性、单点登录 (SSO)、专业支持及自定义 SLA 的企业用户提供商业许可,具体价格需联系销售。

BerriAI-litellm联系邮箱:

ishaan@berri.ai

喜欢这个工具吗?

点赞帮助更多人发现它!

BerriAI 替代品

Eden AI

Eden AI

Eden AI 提供兼容 OpenAI SDK 的统一 API,集成约 1000 个模型,支持智能路由、成本追踪及欧盟数据合规端点。

FR
12.59%
173.8K
0
OpenRouter

OpenRouter

OpenRouter 提供统一 API 接入 600+ 模型,支持多模态生成与自动故障转移,采用按积分计费模式。

US
16.13%
19.9M
0
Portkey.ai - Control Panel for AI Apps

Portkey.ai - Control Panel for AI Apps

Portkey.ai 提供统一 API 接入 1600+ LLMs,具备实时监控、请求缓存及 PII 自动脱敏功能。

US
34.91%
195.7K
0
AI/ML API

AI/ML API

AI/ML API 提供统一接口访问500+模型与1000+代理工具,支持零加价按量计费及智能路由优化。

US
14.37%
232.9K
0
ApiFlux

ApiFlux

ApiFluxAI 是一个 AI 路由器,开发者通过一个 API 密钥即可调用 Claude、GPT、Gemini 等 100 多个模型,按 token 定价且自动故障转移,成本为官方列表价的 85%。

US
100.00%
2.3K
0
CometAPI

CometAPI

CometAPI 提供兼容 OpenAI SDK 的统一接口,让用户以单一密钥低成本访问 500+ AI 模型。

IN
23.42%
603.0K
0
Scalekit

Scalekit

Scalekit 提供统一的 MCP 网关,帮助开发者安全连接 30,000+ 工具并管理 Agent 的身份验证与权限。

US
33.64%
108.2K
0
Higress.AI

Higress.AI

Higress.AI 是一款 企业级 AI 网关,支持 多模型管理、内容安全、语义缓存 等功能,帮助开发者和企业高效、安全地管理和使用 AI 服务。

CN
72.00%
13.3K
0

BerriAI 相关的其它分类

BerriAI 流量分析

该产品托管于共享平台 github.com,平台整体流量不代表该产品流量。此处不展示平台流量,该工具不参与流量榜单。

BerriAI 常见问题

如何确保 Docker 镜像的安全性和完整性?

所有发布到 GHCR 的 LiteLLM Docker 镜像均使用 cosign 签名,可通过固定的提交哈希或发布标签进行验证以确保使用的是官方发布的签名密钥。

是否支持 Terraform 自动化部署?

是的,提供了公开的 Terraform 模块,支持在 AWS (ECS Fargate + Aurora) 和 GCP (Cloud Run + Cloud SQL) 上部署生产就绪的组件化堆栈。

BerriAI 评论

0
0 评论
登录后发表评论

最新评论

暂无评论

BerriAI 嵌入

使用网站徽章为SeekTool.ai提供社区支持。它们很容易嵌入到您的主页或页脚中。

浅色
深色
BerriAI-litellm - Featured on SeekTool.aiBerriAI-litellm - Featured on SeekTool.ai
如何安装?

分类排行榜

按月流量排名