O que é ReliableGPT?
O reliableGPT é uma solução poderosa para garantir 100% de disponibilidade e confiabilidade em aplicações que utilizam a API da OpenAI. Ele lida com erros comuns como limites de taxa, timeouts, problemas de API e chaves inválidas, garantindo que suas solicitações nunca caiam.
Quais são as características de ReliableGPT?
- Retentativas automáticas: Se uma solicitação falhar, o reliableGPT tenta novamente com modelos alternativos como GPT-4, GPT-3.5 e outros.
- Cache inteligente: Oferece respostas em cache usando similaridade semântica para evitar quedas.
- Gerenciamento de chaves: Rotaciona automaticamente entre chaves de API em caso de erros de chave inválida.
- Fallback para Azure OpenAI: Se você usa Azure OpenAI, pode alternar para a API da OpenAI em caso de falhas.
Quais são os casos de uso de ReliableGPT?
- Alta demanda de tráfego: Garante que todos os usuários recebam uma resposta, mesmo em picos de tráfego.
- Problemas de chave de API: Rotaciona automaticamente entre chaves de API para evitar downtime.
- Erros de limite de contexto: Retenta automaticamente com modelos que suportam janelas de contexto maiores.
Como usar ReliableGPT?
- Instale o pacote:
pip install reliableGPT - Integre com uma linha de código:
from reliablegpt import reliableGPT
openai.ChatCompletion.create = reliableGPT(openai.ChatCompletion.create, user_email='[email protected]')
- Configure estratégias de fallback e cache conforme necessário.
