什麼是ReliableGPT？

**reliableGPT** 是一個專為提升 OpenAI 應用程式穩定性和可靠性的工具，幫助你處理 API 請求中的各種錯誤，如速率限制、超時、API 錯誤和密鑰失效等問題。無論你是開發者還是企業，reliableGPT 都能確保你的應用程式在生產環境中保持 100% 的正常運行時間。

ReliableGPT的特色是什麼？

* **自動重試機制**：當請求失敗時，reliableGPT 會自動切換到備用模型（如 GPT-4、GPT-3.5 等）進行重試。 * **緩存功能**：在模型重試失敗時，reliableGPT 會返回緩存中的相似回應，確保用戶請求不會被丟棄。 * **密鑰管理**：當 OpenAI 密鑰失效時，reliableGPT 會自動切換到備用密鑰，確保服務不中斷。 * **上下文窗口錯誤處理**：當遇到上下文窗口錯誤時，reliableGPT 會自動切換到更大上下文窗口的模型進行重試。

ReliableGPT的使用案例有哪些？

* **高流量應用**：在高流量情況下，reliableGPT 可以通過緩存功能確保所有用戶都能獲得回應。 * **Azure OpenAI 與 OpenAI 切換**：當 Azure OpenAI 出現問題時，reliableGPT 可以自動切換到 OpenAI 的端點。 * **密鑰失效處理**：當 OpenAI 密鑰失效時，reliableGPT 會自動切換到備用密鑰，確保服務不中斷。

如何使用ReliableGPT？

1. **安裝套件**：`pip install reliableGPT` 2. **整合 OpenAI**：只需一行代碼即可整合 reliableGPT 與 OpenAI、Azure OpenAI、Langchain 或 LlamaIndex。 3. **設定備用策略**：可以自定義備用模型順序，如 `fallback_strategy=['gpt-3.5-turbo', 'gpt-4']`。 4. **啟用緩存**：在 `reliableGPT` 中設置 `caching=True`，以啟用緩存功能。