Что такое ReliableGPT?
reliableGPT — это инструмент, который помогает обеспечить 100% uptime для ваших приложений, использующих OpenAI. Он справляется с ошибками, такими как лимит запросов, тайм-ауты, проблемы с API и ключами, чтобы ваши запросы никогда не прерывались.
Какие особенности у ReliableGPT?
- Автоматический переход на резервные модели: Если запрос не удается, reliableGPT автоматически пробует другие модели, такие как GPT-4, GPT-3.5 и другие.
- Кэширование ответов: В случае ошибок возвращает кэшированные ответы, чтобы пользователи всегда получали результат.
- Ротация ключей API: Если ключ API становится недействительным, reliableGPT автоматически переключается на резервные ключи.
- Обработка ошибок контекста: При ошибках, связанных с размером контекста, автоматически переключается на модели с большим окном контекста.
Какие случаи использования ReliableGPT?
- Высокая нагрузка на сервер: Если ваш сервер перегружен, reliableGPT возвращает кэшированные ответы, чтобы избежать сбоев.
- Переключение между Azure OpenAI и OpenAI: Если Azure OpenAI не работает, reliableGPT автоматически переключается на OpenAI.
- Ротация ключей API: Если ключ API становится недействительным, reliableGPT использует резервные ключи для продолжения работы.
Как использовать ReliableGPT?
- Установите пакет:
pip install reliableGPT. - Импортируйте и настройте reliableGPT в вашем коде:
from reliablegpt import reliableGPT
openai.ChatCompletion.create = reliableGPT(openai.ChatCompletion.create, user_email='[email protected]')
- Настройте резервные ключи и модели, если необходимо.
