¿Qué es BerriAI-litellm?
BerriAI-litellm es una pasarela de IA de código abierto que ofrece una interfaz unificada para llamar a más de 100 proveedores de modelos de lenguaje (LLM) utilizando el formato OpenAI. Los usuarios pueden integrarla directamente en su código Python como SDK o desplegarla como un servicio centralizado (Proxy Server) para gestionar claves, costos y seguridad en equipos o organizaciones.
¿Cuáles son las características de BerriAI-litellm?
- Interfaz API unificadaPermite realizar llamadas a múltiples proveedores de LLM mediante un solo formato compatible con OpenAI, eliminando la necesidad de manejar SDKs específicos por proveedor.
- Enrutamiento automático de modelosSelecciona dinámicamente el modelo más adecuado para cada solicitud basándose en la complejidad del prompt, clasificando entre opciones rápidas o avanzadas según heurísticas configurables.
- Gestión de MCP GatewayConecta servidores Model Context Protocol (MCP) a cualquier LLM soportado, permitiendo el uso de herramientas externas a través de los endpoints estándar de chat completions.
- Seguimiento de costos y guardrailsOfrece capacidad nativa para rastrear el gasto por usuario o proyecto y aplicar barreras de seguridad (guardrails) en las solicitudes procesadas por la pasarela.
- Soporte para agentes A2AFacilita la invocación de agentes que siguen el protocolo Agent-to-Agent (A2A), permitiendo la comunicación estandarizada entre sistemas autónomos dentro de la infraestructura de LiteLLM.
¿Cuáles son los casos de uso de BerriAI-litellm?
- Integración directa en código PythonDesarrolladores que necesitan incorporar capacidades de LLM en sus aplicaciones sin desplegar servicios adicionales, utilizando la librería
litellmpara manejar excepciones y reintentos. - Centralización de acceso corporativoEquipos de plataforma de ML que requieren un punto único de control para emitir claves virtuales, monitorear el gasto de diferentes proyectos y asegurar el cumplimiento normativo antes de conectar a proveedores externos.
- Despliegue híbrido de agentesImplementaciones donde se combinan agentes codificados (como Claude Code o Codex) con modelos personalizados, ejecutándolos en sandboxes locales mientras todo el tráfico pasa por la pasarela para trazabilidad.
¿Cómo usar BerriAI-litellm?
- Instalación vía pipEjecutar
uv add litellmpara instalar el SDK de Python ouv tool install 'litellm[proxy]'para configurar el servidor proxy localmente. - Configuración de credencialesDefinir variables de entorno con las claves API de los proveedores deseados (ej.
OPENAI_API_KEY) para habilitar las conexiones externas. - Inicialización del proxyIniciar el servicio centralizado mediante el comando
litellm --model gpt-4opara exponer un endpoint compatible con OpenAI en localhost. - Realización de llamadasUtilizar clientes compatibles con OpenAI apuntando al
base_urldel proxy para enviar mensajes y recibir respuestas gestionadas por LiteLLM.
Información de precios de BerriAI-litellm:
- Versión de Código Abierto (OSS)Acceso gratuito al repositorio público para autoalojar la pasarela y el SDK, incluyendo funcionalidades básicas de gateway, seguimiento de costos y enrutamiento.
- Licencia EnterprisePlan pago dirigido a empresas que requieren soporte profesional prioritario, integraciones personalizadas, SLAs definidos y funciones de seguridad avanzadas como Single Sign-On (SSO).









