什麼是StableBeluga2？
Stable Beluga 2 是 Stability AI 推出的強大開源語言模型，基於 Llama2 70B 架構，並使用類似 Orca 的高品質資料集進行微調。這款模型專為遵循指令而設計，能精準理解使用者需求，提供安全、有幫助且符合倫理的回應。無論是創作文學、解答問題，還是協助程式開發，Stable Beluga 2 都展現出接近頂尖商業模型的表現。
作為 Stability AI「Beluga」系列的最新成員，Stable Beluga 2 延續了開放科學與人工智慧民主化的使命。它完全支援 Hugging Face 生態系，並可透過多種高效推理框架（如 vLLM、SGLang）輕鬆部署，讓開發者、研究人員甚至進階愛好者都能在本地或雲端快速使用這款 700 億參數級別的強大模型。
StableBeluga2的特色是什麼？
- 基於 Llama2 70B 微調：繼承 Llama2 的穩健架構，並透過高品質監督式微調提升指令遵循能力
- Orca 風格訓練資料：使用模擬 GPT-4 複雜解釋軌跡的資料集，提升推理與回答深度
- 明確提示格式：採用
### System/### User/### Assistant三段式結構，確保輸入清晰、輸出穩定 - 多平台部署支援：相容 Transformers、vLLM、SGLang、Docker 及 llama.cpp 等主流工具
- 非商業社群授權：免費供個人與研究使用，但禁止商業用途（詳見 STABLE BELUGA NON-COMMERCIAL COMMUNITY LICENSE）
- 高效記憶體優化：支援
torch_dtype=torch.float16與device_map="auto"，降低 GPU 負擔
StableBeluga2的使用案例有哪些？
- 創作詩歌、故事或劇本等創意文字內容
- 解答複雜技術問題或提供程式碼範例
- 擔任個人學習助手，解釋數學、科學或歷史概念
- 生成多輪對話機器人，用於研究或教育用途
- 測試與比較不同開源大語言模型的表現
- 在本地環境搭建私有聊天介面，保護資料隱私
如何使用StableBeluga2？
- 安裝
transformers套件後，使用pipeline("text-generation", model="stabilityai/StableBeluga2")快速啟動 - 載入模型時建議設定
torch_dtype=torch.float16和low_cpu_mem_usage=True以節省資源 - 務必使用指定提示格式：先寫
### System:提示角色，再接### User:與### Assistant: - 若需高效推理，可透過 vLLM 或 SGLang 啟動 OpenAI 相容 API 伺服器
- 使用 Docker 部署時記得掛載 Hugging Face 快取目錄並設定
HF_TOKEN - 產生文字時推薦參數：
do_sample=True,top_p=0.95,temperature=0.5~0.7
StableBeluga2聯絡郵件：
StableBeluga2常見問題：
Q: Stable Beluga 2 可以商用嗎？ A: 不可以。根據官方授權條款，Stable Beluga 2 僅限非商業用途，包括個人、學術或研究目的。商業應用需另行聯繫 Stability AI。
Q: 如何正確撰寫輸入提示（prompt）？
A: 必須使用三段式格式：開頭為 ### System:\n[系統指示]\n\n，接著是 ### User:\n[你的問題]\n\n，最後以 `#
