什麼是ReliableGPT？
reliableGPT 是一個專為提升 OpenAI 應用程式穩定性和可靠性的工具，幫助你處理 API 請求中的各種錯誤，如速率限制、超時、API 錯誤和密鑰失效等問題。無論你是開發者還是企業，reliableGPT 都能確保你的應用程式在生產環境中保持 100% 的正常運行時間。
ReliableGPT的特色是什麼？
- 自動重試機制：當請求失敗時，reliableGPT 會自動切換到備用模型（如 GPT-4、GPT-3.5 等）進行重試。
- 緩存功能：在模型重試失敗時，reliableGPT 會返回緩存中的相似回應，確保用戶請求不會被丟棄。
- 密鑰管理：當 OpenAI 密鑰失效時，reliableGPT 會自動切換到備用密鑰，確保服務不中斷。
- 上下文窗口錯誤處理：當遇到上下文窗口錯誤時，reliableGPT 會自動切換到更大上下文窗口的模型進行重試。
ReliableGPT的使用案例有哪些？
- 高流量應用：在高流量情況下，reliableGPT 可以通過緩存功能確保所有用戶都能獲得回應。
- Azure OpenAI 與 OpenAI 切換：當 Azure OpenAI 出現問題時，reliableGPT 可以自動切換到 OpenAI 的端點。
- 密鑰失效處理：當 OpenAI 密鑰失效時，reliableGPT 會自動切換到備用密鑰，確保服務不中斷。
如何使用ReliableGPT？
- 安裝套件：
pip install reliableGPT - 整合 OpenAI：只需一行代碼即可整合 reliableGPT 與 OpenAI、Azure OpenAI、Langchain 或 LlamaIndex。
- 設定備用策略：可以自定義備用模型順序，如
fallback_strategy=['gpt-3.5-turbo', 'gpt-4']。 - 啟用緩存：在
reliableGPT中設置caching=True，以啟用緩存功能。
