O que é Avian.io?
Avian.io é a plataforma de inferência de IA mais rápida do mundo, oferecendo suporte a modelos de código aberto como o Llama. Com inferência 3-10x mais rápida e sem limites de taxa, é a escolha ideal para quem busca desempenho de ponta em IA.
Quais são as características de Avian.io?
- Inferência ultrarrápida: Até 572 tokens por segundo no Llama 3.1 8B.
- Sem limites de taxa: Use o quanto precisar, sem restrições.
- Compatível com HuggingFace: Implemente qualquer modelo com facilidade.
- Infraestrutura otimizada: Hardware H200 SXM para máxima eficiência.
- API compatível com OpenAI: Integração simples e direta.
Quais são os casos de uso de Avian.io?
- Desenvolvimento de chatbots: Respostas rápidas e precisas.
- Análise de dados em tempo real: Processamento acelerado de grandes volumes.
- Pesquisa em IA: Experimentação com modelos de última geração.
Como usar Avian.io?
- Altere a base_url: Para
https://api.avian.io/v1. - Selecione o modelo: Escolha o modelo desejado, como o Llama 3.1 8B.
- Faça a chamada: Use a API como faria com a OpenAI.
from openai import OpenAI
import os
client = OpenAI(
base_url="https://api.avian.io/v1",
api_key=os.environ.get("AVIAN_API_KEY")
)
response = client.chat.completions.create(
model="Meta-Llama-3.1-8B-Instruct",
messages=[
{
"role": "user",
"content": "O que é aprendizado de máquina?"
}
],
stream=True
)
for chunk in response:
print(chunk.choices[0].delta.content, end="")
