StableBeluga2

¿Qué es StableBeluga2?

Stable Beluga 2 es un modelo de lenguaje avanzado desarrollado por Stability AI, basado en la potente arquitectura Llama 2 de 70 mil millones de parámetros. Ha sido finetuneado con un conjunto de datos al estilo Orca, lo que le permite seguir instrucciones con gran precisión y generar respuestas útiles, coherentes y seguras. Ideal para investigadores, desarrolladores y entusiastas de la IA, este modelo combina el rendimiento de Llama 2 con una mejora significativa en comprensión y generación de texto.

Diseñado específicamente para tareas de generación de texto en inglés, Stable Beluga 2 destaca por su capacidad para mantener conversaciones estructuradas gracias a su formato de prompt único (con roles de Sistema, Usuario y Asistente). Aunque está bajo una licencia no comercial, es una herramienta valiosa para experimentación, educación y prototipado en entornos académicos o personales.

¿Cuáles son las características de StableBeluga2?

• Base en Llama 2 70B: Potente modelo de lenguaje de última generación con alta capacidad de razonamiento.
• Finetuning estilo Orca: Entrenado con trazas explicativas complejas inspiradas en GPT-4 para mejorar la calidad de las respuestas.
• Formato de prompt estructurado: Usa un esquema claro con ### System, ### User y ### Assistant para guiar mejor al modelo.
• Compatibilidad amplia: Funciona con Transformers, vLLM, SGLang, Docker y herramientas como Ollama o LM Studio mediante cuantizaciones.
• Licencia comunitaria no comercial: Accesible gratuitamente para uso personal y educativo.
• Soporte para inferencia eficiente: Compatible con torch_dtype=torch.float16 y device_map="auto" para reducir el uso de memoria.
• API compatible con OpenAI: Puede desplegarse con vLLM o SGLang para usar endpoints similares a los de OpenAI.

¿Cuáles son los casos de uso de StableBeluga2?

• Generar poemas, historias o contenido creativo con instrucciones claras.
• Crear asistentes virtuales para investigación o prototipos no comerciales.
• Responder preguntas técnicas o explicar conceptos complejos paso a paso.
• Automatizar tareas de redacción en proyectos académicos o personales.
• Probar y comparar el rendimiento de modelos de lenguaje en benchmarks abiertos.
• Desarrollar chatbots educativos con respuestas seguras y bien estructuradas.

¿Cómo usar StableBeluga2?

• Usa siempre el formato de prompt obligatorio: incluye un bloque ### System:, seguido de ### User: y termina con ### Assistant:.
• Carga el modelo con torch_dtype=torch.float16 y device_map="auto" para optimizar el uso de GPU.
• Instala transformers desde Hugging Face y usa AutoTokenizer con use_fast=False para evitar errores.
• Para despliegue rápido, utiliza vLLM o SGLang y llama al modelo mediante una API compatible con OpenAI.
• Si usas Docker, asegúrate de montar tu caché de Hugging Face y configurar suficiente memoria compartida (--shm-size).
• Recuerda que el modelo solo está disponible para uso no comercial según su licencia.

Correo electrónico de contacto StableBeluga2:

lm@stability.ai

Preguntas frecuentes sobre StableBeluga2:

Q: ¿Qué formato de prompt debo usar con Stable Beluga 2? A: Debes usar el formato estructurado: "### System:\n[Tu mensaje del sistema]\n\n### User:\n[Tu pregunta o instrucción]\n\n#