Was ist BerriAI-litellm?
BerriAI-litellm ist ein Open-Source-AI-Gateway, das eine einheitliche Schnittstelle für über 100 LLM-Anbieter wie OpenAI, Anthropic und Azure bereitstellt. Entwickler können es als Python-SDK direkt in ihren Code integrieren oder als zentralisierten Proxy-Server für Teams einsetzen. Der Zugriff erfordert die Installation der Software oder die Konfiguration eines selbst gehosteten Servers; es gibt keine kostenlose gehostete Web-Oberfläche ohne Infrastruktur.
Was sind die Merkmale von BerriAI-litellm?
- Vereinheitlichte APIErmöglicht den Aufruf von Modellen mehrerer Anbieter (z. B. Bedrock, VertexAI) über ein einziges OpenAI-kompatibles Format.
- Kostenverfolgung und SchutzmechanismenDas Gateway bietet integrierte Funktionen zur Nachverfolgung von Ausgaben pro Projekt sowie Guardrails und Load Balancing.
- Automatisches RoutingWählt basierend auf einer Heuristik oder Komplexitätsklassifizierung automatisch das passende Modell aus einer definierten Liste aus.
- MCP-IntegrationVerbindet Model Context Protocol (MCP)-Server mit beliebigen LLMs, um Tools in OpenAI-Format zu laden und auszuführen.
- Agent-HarnessesUnterstützt die Ausführung von Coding-Agenten wie Claude Code oder Codex auf verschiedenen Modellen über die SDK-Schnittstelle.
- A2A-ProtokollErlaubt die Interaktion mit Agenten über das Agent-to-Agent-Protokoll sowohl im SDK als auch im Proxy-Server.
Was sind die Anwendungsfälle von BerriAI-litellm?
- Zentrale TeamverwaltungML-Plattform-Teams nutzen den Proxy-Server, um virtuelle Schlüssel, Spend Limits und Logging für verschiedene Projekte zu verwalten.
- Provider-UnabhängigkeitEntwickler tauschen Backend-Modelle (z. B. von GPT-4o zu Claude) aus, ohne den Anwendungscode zu ändern, dank der Drop-in-Kompatibilität.
- Tool-Nutzung in ChatflowsIntegration externer Datenquellen oder Aktionen in LLM-Antworten durch die Anbindung von MCP-Servern an den Gateway-Endpunkt.
Wie benutzt man BerriAI-litellm?
- InstallationFühren Sie
uv tool install 'litellm[proxy]'aus, um den Proxy-Server lokal einzurichten. - Start des DienstesStarten Sie den Server mit dem Befehl
litellm --model gpt-4o, um einen lokalen Endpunkt bereitzustellen. - API-AufrufSenden Sie Anfragen an
http://0.0.0.0:4000/v1/chat/completionsunter Verwendung eines Standard-OpenAI-Clients. - AuthentifizierungÜbergeben Sie Ihren virtuellen Schlüssel im Header
Authorization: Bearer <your-key>für autorisierte Zugriffe.
BerriAI-litellm Preisinformationen:
- Open SourceDie Basisversion ist kostenlos und muss selbst gehostet werden (Docker oder Python).
- Enterprise-LizenzErfordert eine separate Lizenzvereinbarung für zusätzliche Sicherheitsfunktionen, SSO und professionellen Support.









