StableBeluga2

Qu'est-ce que StableBeluga2 ?

Stable Beluga 2 est un modèle de langage avancé développé par Stability AI, conçu pour offrir des réponses précises, utiles et bien structurées. Il s’agit d’une version affinée du puissant Llama 2 70B, entraînée sur un jeu de données inspiré d’Orca — une méthode qui imite les explications complexes fournies par des modèles comme GPT-4. Ce modèle vise à allier performance, sécurité et respect des instructions, ce qui en fait un outil idéal pour les développeurs, chercheurs et passionnés d’intelligence artificielle.

Grâce à son approche open source et à sa licence communautaire non commerciale, Stable Beluga 2 participe activement à la démocratisation de l’IA. Que vous souhaitiez l’utiliser localement, dans le cloud ou via des frameworks optimisés comme vLLM ou SGLang, il offre une grande flexibilité tout en restant accessible aux utilisateurs francophones et anglophones (bien qu’il soit principalement conçu pour l’anglais).

Quelles sont les caractéristiques de StableBeluga2 ?

• Basé sur Llama 2 70B : Hérite de la puissance et de la robustesse du modèle de base Meta, avec des améliorations ciblées.
• Fine-tuning Orca-style : Entraîné sur des traces explicatives complexes pour mieux raisonner et suivre les instructions.
• Format d’invite spécifique : Utilise une structure claire avec des balises ### System, ### User et ### Assistant pour des interactions plus fiables.
• Compatibilité étendue : Fonctionne avec Transformers, vLLM, SGLang, Docker, llama.cpp, Ollama et plus encore.
• Optimisé pour l’inférence : Prend en charge la précision mixte (float16/BF16) et le mappage automatique sur GPU via device_map="auto".
• Licence non commerciale claire : Permet une utilisation libre dans la communauté, sous réserve du respect des conditions de la licence STABLE BELUGA NON-COMMERCIAL COMMUNITY LICENSE AGREEMENT.

Quels sont les cas d'utilisation de StableBeluga2 ?

• Créer un chatbot conversationnel personnalisé pour un projet de recherche ou éducatif.
• Générer du contenu textuel (poèmes, résumés, scénarios) avec un contrôle précis via le prompt system.
• Intégrer un modèle performant dans une application locale sans dépendre d’API propriétaires.
• Tester des techniques de fine-tuning ou d’évaluation de sécurité sur un modèle open source de grande taille.
• Développer des prototypes IA avec des serveurs d’inférence rapides (vLLM/SGLang) compatibles OpenAI.
• Participer à des bancs d’essai communautaires (comme ceux sur Hugging Face Spaces) pour comparer les performances des LLM.

Comment utiliser StableBeluga2 ?

• Installez la bibliothèque transformers et chargez le modèle avec AutoModelForCausalLM et AutoTokenizer.
• Utilisez toujours le format de prompt recommandé avec les sections ### System, ### User et ### Assistant.
• Activez torch_dtype=torch.float16 et device_map="auto" pour une utilisation efficace sur GPU.
• Pour des inférences rapides, déployez le modèle avec vLLM ou SGLang via leur interface compatible OpenAI.
• Si vous utilisez Docker, lancez le conteneur avec suffisamment de mémoire partagée (--shm-size 32g) et accès GPU.
• N’oubliez pas d’ajouter votre token Hugging Face si vous téléchargez le modèle depuis un environnement privé ou Docker.

Email de contact StableBeluga2 :

lm@stability.ai

Questions fréquentes sur StableBeluga2 :

Q: Stable Beluga 2 fonctionne-t-il en français ? A: Le modèle a été principalement entraîné et testé en anglais. Bien qu’il puisse comprendre ou générer du texte en français, ses performances ne sont pas garanties dans cette langue.

Q: Puis-je utiliser Stable Beluga 2 à des fins commerciales ? A: Non. Le modèle est distribué sous la STABLE BELUGA NON-COMMERCIAL COMMUNITY LICENSE AGREEMENT, ce qui interdit toute utilisation commerciale sans autorisation.

Q: Quel format de prompt dois-je utiliser ? A: Vous devez structurer vos entrées comme suit :
`### System:\n[Votre instruction système]\n\n### User:\n[Votre question]\n\n#