BerriAI-litellmは、100以上のLLMをOpenAI形式で統一呼び出しできる、セルフホスト型のオープンソースAIゲートウェイです。

ソーシャルメディア:
BerriAI-litellm

BerriAI 製品情報

BerriAI-litellmとは何ですか?

BerriAI-litellmは、100以上のLLMプロバイダーをOpenAI形式の統一インターフェースで呼び出せるオープンソースのAIゲートウェイです。Python SDKとして直接コードに組み込むか、Proxy Serverとしてチームや組織向けの中央サービスとしてデプロイして利用します。セルフホスト型であり、エンタープライズ向けには追加のライセンス契約が必要です。

BerriAI-litellmの特徴は何ですか?

  • 統一API
    OpenAI, Anthropic, Geminiなど100以上のLLMプロバイダーを、プロバイダー固有のSDKを扱うことなくOpenAI形式で呼び出せます。
  • コストトラッキングとガードレール
    プロジェクトやユーザー単位での支出管理、認証・認可、およびリクエストに対するガードレール機能を提供します。
  • 自動ルーティング
    入力プロンプトの複雑さに応じて、事前に設定したモデルティアから適切なモデルを選択するAuto Router機能を備えています。
  • MCPツール接続
    MCPサーバーを任意のLLMに接続し、/chat/completionsエンドポイント経由でツールを呼び出すことができます。
  • エージェント実行
    Claude CodeやCodexなどのエージェントを、LiteLLM Gateway経由で任意のモデル上で実行できます。
  • ロードバランシング
    AzureやOpenAIなどの複数のデプロイメント間で、リトライやフォールバックロジックを含むRouter機能により負荷分散を行います。

BerriAI-litellmの使用例は何ですか?

  • マルチテナント環境での管理
    MLプラットフォームチームが、仮想キーを用いた安全なアクセス制御と、プロジェクトごとのコスト追跡を行うためにゲートウェイを中央サービスとして運用する場合。
  • 開発者による直接統合
    Pythonアプリケーション内で、異なるLLMプロバイダー間の切り替えをコード修正なしで行う必要がある開発者が、ライブラリとしてSDKを使用する場合。
  • クラウドへの本番デプロイ
    AWS ECS FargateやGCP Cloud Runなどのマネージドサービス上で、PostgresやRedisを含むコンポーネント化されたスタックとしてProxy Serverを展開する場合。

BerriAI-litellmの使い方は?

  1. インストール
    uv add litellm コマンドを実行してPython SDKをインストールするか、uv tool install 'litellm[proxy]' でProxy Serverをセットアップします。
  2. APIキー設定
    環境変数(例:OPENAI_API_KEY)または設定ファイルを通じて、利用するLLMプロバイダーの認証情報を提供します。
  3. ゲートウェイ起動
    Proxy Serverの場合、litellm --model gpt-4o のようにコマンドを実行してローカルサーバーを開始します。
  4. リクエスト送信
    OpenAIクライアントライブラリなどを使い、Base URLをゲートウェイのエンドポイントに指定して /chat/completions へリクエストを送信します。

BerriAI-litellmの価格情報:

  • OSS版
    無料で利用可能ですが、セルフホストが必要であり、企業向けのセキュリティ機能やサポートは含まれません。
  • Enterprise Tier
    追加のライセンス費用が発生し、SSO対応、優先的な機能実装、カスタム統合、専用サポート、およびSLAが含まれます。具体的な価格は明記されていません。

BerriAI-litellmの連絡先メール:

ishaan@berri.ai / krrish@berri.ai

このツールが気に入りましたか?

投票して、より多くの人が発見できるようにしましょう!

BerriAI 代替品

Eden AI

Eden AI

Eden AIは、約1,000のAIモデルを統一APIで管理し、コスト最適化とEUデータ主権に対応するゲートウェイです。

FR
12.59%
173.8K
0
OpenRouter

OpenRouter

OpenRouterは、多数のLLMへ統一APIでアクセスし、障害時フォールバックと柔軟なデータポリシーを備えたモデルルーティングサービスです。

US
16.13%
19.9M
0
Portkey.ai - Control Panel for AI Apps

Portkey.ai - Control Panel for AI Apps

Portkey.ai - Control Panel for AI Appsは、1600以上のLLMへの統一アクセスとガードレール機能により、AIアプリの本番運用を支える開発者向け基盤です。

US
34.91%
195.7K
0
AI/ML API

AI/ML API

AI/ML APIは、500以上のモデルとエージェントツールを単一のAPIで統合し、コスト効率の良いマルチモーダル開発を支援します。

US
14.37%
232.9K
0
ApiFlux

ApiFlux

ApiFluxは、Anthropic、OpenAI、Googleのモデルを1つのAPIキーで利用できるマルチプロトコルAIルーター。自動フェイルオーバーと透明な従量課金で開発者向け。

US
100.00%
2.3K
0
CometAPI

CometAPI

CometAPIは500以上のAIモデルを単一のOpenAI互換API経由で低コストかつ柔軟に利用可能にする統合サービスです。

IN
23.42%
603.0K
0
Scalekit

Scalekit

Scalekitは、AIエージェントによるツール呼び出しを認証・スコープ・ログ管理付きで安全に行うためのMCPゲートウェイです。

US
33.64%
108.2K
0
Higress.AI

Higress.AI

Higress.AIは、AIエージェントの開発とLLM APIの管理を容易にします。 100種類以上の大型言語モデルをサポートし、セキュリティ、合規性、コスト管理など、企業のAI活用をサポートする機能を提供します。 ---

CN
72.00%
13.3K
0

BerriAI 関連他のカテゴリ

BerriAI トラフィック分析

この製品は共有プラットフォーム github.com 上にあります。プラットフォーム全体のデータは表示せず、ランキングの対象外とします。

BerriAI よくある質問

Dockerイメージの信頼性をどのように確認できますか?

すべての公開Dockerイメージはcosignで署名されています。固定コミットハッシュまたはリリースタグを参照して検証コマンドを実行することで、イメージの完全性を確認できます。

RustコアとPython SDKの関係はどうなっていますか?

LiteLLMはRustコアを持ちますが、Python SDKとして独立した litellm-core 配布物も提供されており、これはダッシュボードやCLIを含みません。環境ごとにどちらか一方のみをインストールする必要があります。

BerriAI レビュー

0
0 レビュー
サインインレビューを投稿するには

最近のレビュー

まだレビューはありません

BerriAI 埋め込み

ウェブサイトバッジを使用してSeekTool.aiのコミュニティサポートを促進しましょう。ホームページやフッターに簡単に埋め込めます。

ライト
ダーク
BerriAI-litellm - Featured on SeekTool.aiBerriAI-litellm - Featured on SeekTool.ai
インストール方法は?

カテゴリランキング

月間トラフィック順