O que é Berri?
O LiteLLM é uma ferramenta poderosa que simplifica o acesso a mais de 100 modelos de linguagem (LLMs), oferecendo balanceamento de carga, fallbacks e rastreamento de gastos. Tudo isso no formato OpenAI, facilitando a integração e o uso para desenvolvedores.
Quais são as características de Berri?
- Acesso a múltiplos LLMs: Integração com Azure, Gemini, Bedrock e OpenAI.
- Balanceamento de carga e fallbacks: Garantia de alta disponibilidade e desempenho.
- Rastreamento de gastos: Controle de orçamentos e limites de taxa.
- Logging avançado: Registro de requisições e respostas em ferramentas como s3, Datadog e OTEL.
- Portal self-serve: Permite que as equipes gerenciem suas próprias chaves de acesso.
Quais são os casos de uso de Berri?
- Migração de projetos para endpoints de passagem com rastreamento de gastos.
- Controle de acesso a modelos por chaves virtuais e equipes.
- Gerenciamento de orçamentos e limites de taxa em projetos de IA.
Como usar Berri?
- Instale o LiteLLM via Python SDK ou Docker.
- Configure o logging e o rastreamento de gastos conforme necessário.
- Utilize o portal self-serve para gerenciar chaves de acesso.
