ReliableGPTとは何ですか？
reliableGPTは、OpenAIのAPIを使用する際の信頼性と稼働時間を100%に保つためのツールです。レートリミット、タイムアウト、APIエラー、キーエラーなどの問題を自動的に処理し、顧客リクエストが失敗しないようにサポートします。
ReliableGPTの特徴は何ですか？
- 自動フォールバック: リクエストが失敗した場合、代替モデル（GPT-4、GPT-3.5など）で再試行します。
- キャッシュ機能: セマンティック類似性を使用してキャッシュされた応答を返します。
- キーローテーション: APIキーが無効になった場合、バックアップキーを使用してリクエストを継続します。
- コンテキストウィンドウエラーの自動処理: 大きなコンテキストウィンドウを持つモデルで再試行します。
ReliableGPTの使用例は何ですか？
- 高トラフィック時のキャッシュ利用: サーバーが高負荷時にキャッシュされた応答を返すことで、ユーザーリクエストをドロップしません。
- Azure OpenAIとOpenAIの切り替え: Azure OpenAIで問題が発生した場合、OpenAIに自動的にフォールバックします。
- キーローテーションによるダウンタイム防止: APIキーが無効になった場合、バックアップキーを使用してリクエストを継続します。
ReliableGPTの使い方は？
- インストール:
pip install reliableGPTを実行します。 - 初期化:
openai.ChatCompletion.create = reliableGPT(openai.ChatCompletion.create, user_email='your_email@example.com')で設定します。 - キャッシュの有効化:
caching=Trueを設定してキャッシュ機能を有効にします。
