ReliableGPT

什么是ReliableGPT？

reliableGPT 是一个专为提升 OpenAI 应用稳定性和可靠性的工具。它能够有效处理 API 请求中的各种错误，如速率限制、超时、API 错误和密钥问题，确保你的应用在高峰期也能保持 100% 的正常运行时间。

ReliableGPT的核心功能有哪些？

• 自动重试机制：当请求失败时，reliableGPT 会自动尝试使用备用模型或更大的上下文窗口模型进行重试。
• 缓存响应：在模型重试失败的情况下，reliableGPT 会返回缓存的响应，确保用户请求不会丢失。
• 备用密钥管理：支持添加多个 OpenAI 密钥，当某个密钥失效时，自动切换到备用密钥。
• 高负载处理：在服务器过载时，reliableGPT 会返回缓存响应，避免请求被丢弃。

ReliableGPT的使用案例有哪些？

• 高流量场景：在高并发情况下，确保所有用户都能获得响应。
• Azure OpenAI 与 OpenAI 切换：当 Azure OpenAI 出现问题时，自动切换到 OpenAI 端点。
• 密钥轮换：当 OpenAI 密钥失效时，自动切换到备用密钥，确保服务不中断。

如何使用ReliableGPT？

1. 安装 reliableGPT：pip install reliableGPT
2. 集成到 OpenAI 或 Azure OpenAI 应用中：

from reliablegpt import reliableGPT
openai.ChatCompletion.create = reliableGPT(openai.ChatCompletion.create, user_email='your_email@example.com')

3. 配置备用模型和密钥，确保在请求失败时能够自动切换。

ReliableGPT联系邮箱：

ishaan@berri.ai, krrish@berri.ai