ReliableGPT

什麼是ReliableGPT？

reliableGPT 是一個專為提升 OpenAI 應用程式穩定性和可靠性的工具，幫助你處理 API 請求中的各種錯誤，如速率限制、超時、API 錯誤和密鑰失效等問題。無論你是開發者還是企業，reliableGPT 都能確保你的應用程式在生產環境中保持 100% 的正常運行時間。

ReliableGPT的特色是什麼？

• 自動重試機制：當請求失敗時，reliableGPT 會自動切換到備用模型（如 GPT-4、GPT-3.5 等）進行重試。
• 緩存功能：在模型重試失敗時，reliableGPT 會返回緩存中的相似回應，確保用戶請求不會被丟棄。
• 密鑰管理：當 OpenAI 密鑰失效時，reliableGPT 會自動切換到備用密鑰，確保服務不中斷。
• 上下文窗口錯誤處理：當遇到上下文窗口錯誤時，reliableGPT 會自動切換到更大上下文窗口的模型進行重試。

ReliableGPT的使用案例有哪些？

• 高流量應用：在高流量情況下，reliableGPT 可以通過緩存功能確保所有用戶都能獲得回應。
• Azure OpenAI 與 OpenAI 切換：當 Azure OpenAI 出現問題時，reliableGPT 可以自動切換到 OpenAI 的端點。
• 密鑰失效處理：當 OpenAI 密鑰失效時，reliableGPT 會自動切換到備用密鑰，確保服務不中斷。

如何使用ReliableGPT？

1. 安裝套件：pip install reliableGPT
2. 整合 OpenAI：只需一行代碼即可整合 reliableGPT 與 OpenAI、Azure OpenAI、Langchain 或 LlamaIndex。
3. 設定備用策略：可以自定義備用模型順序，如 fallback_strategy=['gpt-3.5-turbo', 'gpt-4']。
4. 啟用緩存：在 reliableGPT 中設置 caching=True，以啟用緩存功能。

ReliableGPT聯絡郵件：

ishaan@berri.ai, krrish@berri.ai