Berri

Что такое Berri?

LiteLLM — это универсальный инструмент для работы с более чем 100 языковыми моделями (LLM). Он упрощает доступ к моделям, отслеживание расходов и управление резервными вариантами, предоставляя всё в формате OpenAI. С LiteLLM вы можете легко интегрировать Azure, Gemini, Bedrock и OpenAI, а также использовать функции балансировки нагрузки и отслеживания расходов.

Какие особенности у Berri?

• Доступ к моделям: Подключение к 100+ LLM через единый интерфейс.
• Отслеживание расходов: Контроль бюджета и лимитов для моделей, ключей и команд.
• Резервные варианты: Автоматическое переключение на альтернативные модели в случае сбоев.
• Логирование: Логирование запросов, ответов и данных использования в s3, Datadog, OTEL и другие системы.
• Самостоятельный портал: Управление ключами и доступом через удобный интерфейс.

Какие случаи использования Berri?

• Миграция проектов: Легкий переход на использование прокси с встроенным отслеживанием расходов.
• Управление доступом: Контроль доступа к моделям через виртуальные ключи и группы.
• Мониторинг и аналитика: Отслеживание использования и расходов в реальном времени.

Как использовать Berri?

1. Установите LiteLLM через Python SDK.
2. Настройте доступ к моделям через виртуальные ключи.
3. Используйте API в формате OpenAI для интеграции с вашими проектами.
4. Настройте логирование и отслеживание расходов через предпочитаемые системы.