Qu'est-ce que BerriAI-litellm ?
BerriAI-litellm est une passerelle IA open source permettant d'appeler plus de 100 fournisseurs de modèles linguistiques via une interface unifiée compatible OpenAI. Elle s'adresse aux équipes d'intégration et aux développeurs nécessitant une gestion centralisée des coûts, du routage et de la sécurité. L'accès se fait soit par l'intégration directe du SDK Python dans le code, soit par le déploiement auto-hébergé du serveur proxy comme service autonome.
Quelles sont les caractéristiques de BerriAI-litellm ?
- Interface unifiée OpenAIPermet d'appeler les API de Bedrock, Azure, Anthropic, VertexAI et d'autres via le format standard OpenAI sans réécriture de code spécifique au fournisseur.
- Routage automatique (Auto Routing)Sélectionne dynamiquement le modèle adapté à chaque prompt en fonction de sa complexité estimée, utilisant des classes heuristiques ou personnalisées.
- Passerelle MCP (MCP Gateway)Connecte les serveurs MCP à n'importe quel LLM pour exposer des outils externes sous forme de fonctions compatibles avec l'API
/chat/completions. - Suivi des coûts et clés virtuellesLe proxy offre une gestion multi-tenant des dépenses par projet ou utilisateur et sécurise l'accès via des clés virtuelles générables.
- Support A2A (Agents-to-Agents)Permet d'invoquer des agents interopérables via le protocole A2A, supportant des frameworks comme LangGraph, Pydantic AI et Vertex AI Agent Engine.
- Équilibre de charge et basculeGère automatiquement les erreurs et redirige les requêtes vers des déploiements alternatifs (par exemple Azure vers OpenAI) pour assurer la disponibilité.
Quels sont les cas d'utilisation de BerriAI-litellm ?
- Intégration d'outils externesUtiliser le gateway MCP pour permettre à un modèle GPT-4o d'accéder à des données GitHub ou d'exécuter des scripts via des serveurs MCP connectés.
- Optimisation des coûts par complexitéConfigurer un routeur qui dirige les questions simples vers des modèles rapides et peu coûteux, tout en acheminant les tâches complexes vers des modèles plus performants.
- Déploiement cloud automatiséUtiliser les modules Terraform officiels pour déployer une pile complète (gateway, backend, UI) sur AWS ECS ou GCP Cloud Run avec base de données managée.
Comment utiliser BerriAI-litellm ?
- Installation du SDKExécuter
uv add litellmpour installer la bibliothèque Python nécessaire à l'intégration directe dans le code. - Configuration des variablesDéfinir les clés API des fournisseurs souhaités (comme
OPENAI_API_KEY) dans l'environnement système ou le fichier.env. - Appel unifiéUtiliser la fonction
completion()en spécifiant le préfixe du fournisseur (ex:openai/gpt-4o) pour envoyer la requête via l'interface standard. - Démarrage du ProxyPour un usage en gateway, installer les dépendances proxy (
uv tool install 'litellm[proxy]') et lancer le serveur avec la commandelitellm --model gpt-4o. - Requête HTTPEnvoyer une demande POST à l'endpoint local
http://localhost:4000/v1/chat/completionsavec une clé virtuelle dans l'en-tête d'autorisation.
Informations tarifaires de BerriAI-litellm :
- Version Open SourceAccès gratuit au code source et aux fonctionnalités de base du SDK et du proxy auto-hébergé.
- Licence EnterpriseOffre commerciale incluant la prise en charge professionnelle, les intégrations personnalisées, le SSO et des SLAs dédiés, sans prix public affiché.









