BerriAI-litellmとは何ですか?
BerriAI-litellmは、100以上のLLMプロバイダーをOpenAI形式の統一インターフェースで呼び出せるオープンソースのAIゲートウェイです。Python SDKとして直接コードに組み込むか、Proxy Serverとしてチームや組織向けの中央サービスとしてデプロイして利用します。セルフホスト型であり、エンタープライズ向けには追加のライセンス契約が必要です。
BerriAI-litellmの特徴は何ですか?
- 統一APIOpenAI, Anthropic, Geminiなど100以上のLLMプロバイダーを、プロバイダー固有のSDKを扱うことなくOpenAI形式で呼び出せます。
- コストトラッキングとガードレールプロジェクトやユーザー単位での支出管理、認証・認可、およびリクエストに対するガードレール機能を提供します。
- 自動ルーティング入力プロンプトの複雑さに応じて、事前に設定したモデルティアから適切なモデルを選択するAuto Router機能を備えています。
- MCPツール接続MCPサーバーを任意のLLMに接続し、
/chat/completionsエンドポイント経由でツールを呼び出すことができます。 - エージェント実行Claude CodeやCodexなどのエージェントを、LiteLLM Gateway経由で任意のモデル上で実行できます。
- ロードバランシングAzureやOpenAIなどの複数のデプロイメント間で、リトライやフォールバックロジックを含むRouter機能により負荷分散を行います。
BerriAI-litellmの使用例は何ですか?
- マルチテナント環境での管理MLプラットフォームチームが、仮想キーを用いた安全なアクセス制御と、プロジェクトごとのコスト追跡を行うためにゲートウェイを中央サービスとして運用する場合。
- 開発者による直接統合Pythonアプリケーション内で、異なるLLMプロバイダー間の切り替えをコード修正なしで行う必要がある開発者が、ライブラリとしてSDKを使用する場合。
- クラウドへの本番デプロイAWS ECS FargateやGCP Cloud Runなどのマネージドサービス上で、PostgresやRedisを含むコンポーネント化されたスタックとしてProxy Serverを展開する場合。
BerriAI-litellmの使い方は?
- インストール
uv add litellmコマンドを実行してPython SDKをインストールするか、uv tool install 'litellm[proxy]'でProxy Serverをセットアップします。 - APIキー設定環境変数(例:
OPENAI_API_KEY)または設定ファイルを通じて、利用するLLMプロバイダーの認証情報を提供します。 - ゲートウェイ起動Proxy Serverの場合、
litellm --model gpt-4oのようにコマンドを実行してローカルサーバーを開始します。 - リクエスト送信OpenAIクライアントライブラリなどを使い、Base URLをゲートウェイのエンドポイントに指定して
/chat/completionsへリクエストを送信します。
BerriAI-litellmの価格情報:
- OSS版無料で利用可能ですが、セルフホストが必要であり、企業向けのセキュリティ機能やサポートは含まれません。
- Enterprise Tier追加のライセンス費用が発生し、SSO対応、優先的な機能実装、カスタム統合、専用サポート、およびSLAが含まれます。具体的な価格は明記されていません。









