Что такое Berri?
LiteLLM — это универсальный инструмент для работы с более чем 100 языковыми моделями (LLM). Он упрощает доступ к моделям, отслеживание расходов и управление резервными вариантами, предоставляя всё в формате OpenAI. С LiteLLM вы можете легко интегрировать Azure, Gemini, Bedrock и OpenAI, а также использовать функции балансировки нагрузки и отслеживания расходов.
Какие особенности у Berri?
- Доступ к моделям: Подключение к 100+ LLM через единый интерфейс.
- Отслеживание расходов: Контроль бюджета и лимитов для моделей, ключей и команд.
- Резервные варианты: Автоматическое переключение на альтернативные модели в случае сбоев.
- Логирование: Логирование запросов, ответов и данных использования в s3, Datadog, OTEL и другие системы.
- Самостоятельный портал: Управление ключами и доступом через удобный интерфейс.
Какие случаи использования Berri?
- Миграция проектов: Легкий переход на использование прокси с встроенным отслеживанием расходов.
- Управление доступом: Контроль доступа к моделям через виртуальные ключи и группы.
- Мониторинг и аналитика: Отслеживание использования и расходов в реальном времени.
Как использовать Berri?
- Установите LiteLLM через Python SDK.
- Настройте доступ к моделям через виртуальные ключи.
- Используйте API в формате OpenAI для интеграции с вашими проектами.
- Настройте логирование и отслеживание расходов через предпочитаемые системы.
