什么是ReliableGPT？
reliableGPT 是一个专为提升 OpenAI 应用稳定性和可靠性的工具。它能够有效处理 API 请求中的各种错误，如速率限制、超时、API 错误和密钥问题，确保你的应用在高峰期也能保持 100% 的正常运行时间。
ReliableGPT的核心功能有哪些？
- 自动重试机制：当请求失败时，reliableGPT 会自动尝试使用备用模型或更大的上下文窗口模型进行重试。
- 缓存响应：在模型重试失败的情况下，reliableGPT 会返回缓存的响应，确保用户请求不会丢失。
- 备用密钥管理：支持添加多个 OpenAI 密钥，当某个密钥失效时，自动切换到备用密钥。
- 高负载处理：在服务器过载时，reliableGPT 会返回缓存响应，避免请求被丢弃。
ReliableGPT的使用案例有哪些？
- 高流量场景：在高并发情况下，确保所有用户都能获得响应。
- Azure OpenAI 与 OpenAI 切换：当 Azure OpenAI 出现问题时，自动切换到 OpenAI 端点。
- 密钥轮换：当 OpenAI 密钥失效时，自动切换到备用密钥，确保服务不中断。
如何使用ReliableGPT？
- 安装 reliableGPT：
pip install reliableGPT - 集成到 OpenAI 或 Azure OpenAI 应用中：
from reliablegpt import reliableGPT
openai.ChatCompletion.create = reliableGPT(openai.ChatCompletion.create, user_email='your_email@example.com')
- 配置备用模型和密钥，确保在请求失败时能够自动切换。
