StableBeluga2

什麼是StableBeluga2？

Stable Beluga 2 是由 Stability AI 開發的一款先進語言模型，基於 Llama2 70B 架構，並在 Orca 風格的數據集上進行了微調。這款模型專為文本生成設計，能夠幫助用戶完成各種語言任務，從寫詩到回答問題，表現出色。

StableBeluga2的特色是什麼？

• 強大的文本生成能力：基於 Llama2 70B 架構，能夠生成高質量的文本內容。
• 多樣化的應用場景：適用於寫作、問答、對話等多種任務。
• 易於使用：提供簡單的 API 接口，方便開發者快速集成。
• 安全性提示：模型內置安全提示，確保生成內容合法且安全。

StableBeluga2的使用案例有哪些？

• 創意寫作：幫助用戶生成詩歌、故事等創意內容。
• 智能問答：回答用戶提出的各種問題，提供準確的信息。
• 對話系統：用於開發智能聊天機器人，提供流暢的對話體驗。

如何使用StableBeluga2？

1. 安裝必要的 Python 庫，如 transformers 和 torch。
2. 使用以下代碼片段加載模型並開始生成文本：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

tokenizer = AutoTokenizer.from_pretrained("stabilityai/StableBeluga2", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("stabilityai/StableBeluga2", torch_dtype=torch.float16, low_cpu_mem_usage=True, device_map="auto")
system_prompt = "### System:
You are Stable Beluga, an AI that follows instructions extremely well. Help as much as you can. Remember, be safe, and don't do anything illegal.

"

message = "Write me a poem please"
prompt = f"{system_prompt}### User: {message}

### Assistant:
"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
output = model.generate(**inputs, do_sample=True, top_p=0.95, top_k=0, max_new_tokens=256)

print(tokenizer.decode(output[0], skip_special_tokens=True))

StableBeluga2聯絡郵件：

lm@stability.ai