Что такое BerriAI-litellm?
BerriAI-litellm — это открытый шлюз для вызова более 100 провайдеров LLM через единый интерфейс в формате OpenAI. Инструмент доступен как Python SDK для прямой интеграции или как сервер-прокси для централизованного управления командой. Для работы требуется самостоятельное развертывание и наличие API-ключей от выбранных поставщиков моделей.
Какие особенности у BerriAI-litellm?
- Единый формат запросоввозможность обращаться к моделям OpenAI, Anthropic, Gemini, Bedrock и других через стандартные эндпоинты
/chat/completions,/embeddingsи другие. - Виртуальные ключи и контроль расходовмеханизм аутентификации с виртуальными ключами и отслеживание затрат на уровне проектов и пользователей в административной панели.
- Автоматическая маршрутизация (Auto Routing)выбор модели для каждого запроса на основе сложности промпта с использованием эвристик или классификаторов.
- Балансировка нагрузки и отказоустойчивостьнастройка повторных попыток и переключения между несколькими развертываниями (например, Azure/OpenAI) при сбоях.
- Интеграция MCP-серверовподключение инструментов Model Context Protocol к любой LLM-модели через шлюз или Python SDK.
- Запуск агентоввыполнение задач кодовыми агентами (Claude Code, Codex, OpenCode) с использованием любых подключенных моделей через LiteLLM Proxy.
Какие случаи использования BerriAI-litellm?
- Централизация доступа к LLMиспользование прокси-сервера ML-платформой для предоставления разработчикам безопасного доступа к разным моделям через единый endpoint.
- Оптимизация стоимости запросовприменение автоматической маршрутизации для отправки простых запросов к быстрым моделям, а сложных — к мощным, без изменения кода приложения.
- Развертывание в облакезапуск компонентов шлюза (gateway, backend, UI) в AWS или GCP с использованием готовых модулей Terraform.
Как использовать BerriAI-litellm?
- Установка SDKвыполнить команду
uv add litellmдля добавления библиотеки в проект. - Настройка переменных окружениязадать значения
OPENAI_API_KEYиANTHROPIC_API_KEYв системе. - Вызов моделииспользовать функцию
completionиз пакетаlitellm, указав модель и список сообщений. - Запуск прокси-сервераустановить пакет с расширением proxy (
uv tool install 'litellm[proxy]') и запустить сервер командойlitellm --model gpt-4o. - Подключение клиентанастроить клиент OpenAI с указанием
base_urlна локальный адрес прокси-сервера.
Информация о ценах на BerriAI-litellm:
- Open Source Licenseбесплатный доступ к базовой функциональности шлюза и SDK.
- Enterprise Tierплатная лицензия для компаний, включающая приоритетную разработку фич, кастомные интеграции, поддержку SSO и выделенные SLA.









