什麼是StableBeluga2？
Stable Beluga 2 是由 Stability AI 開發的一款先進語言模型，基於 Llama2 70B 架構，並在 Orca 風格的數據集上進行了微調。這款模型專為文本生成設計，能夠幫助用戶完成各種語言任務，從寫詩到回答問題，表現出色。
StableBeluga2的特色是什麼？
- 強大的文本生成能力：基於 Llama2 70B 架構，能夠生成高質量的文本內容。
- 多樣化的應用場景：適用於寫作、問答、對話等多種任務。
- 易於使用：提供簡單的 API 接口，方便開發者快速集成。
- 安全性提示：模型內置安全提示，確保生成內容合法且安全。
StableBeluga2的使用案例有哪些？
- 創意寫作：幫助用戶生成詩歌、故事等創意內容。
- 智能問答：回答用戶提出的各種問題，提供準確的信息。
- 對話系統：用於開發智能聊天機器人，提供流暢的對話體驗。
如何使用StableBeluga2？
- 安裝必要的 Python 庫，如
transformers和torch。 - 使用以下代碼片段加載模型並開始生成文本：
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
tokenizer = AutoTokenizer.from_pretrained("stabilityai/StableBeluga2", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("stabilityai/StableBeluga2", torch_dtype=torch.float16, low_cpu_mem_usage=True, device_map="auto")
system_prompt = "### System:
You are Stable Beluga, an AI that follows instructions extremely well. Help as much as you can. Remember, be safe, and don't do anything illegal.
"
message = "Write me a poem please"
prompt = f"{system_prompt}### User: {message}
### Assistant:
"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
output = model.generate(**inputs, do_sample=True, top_p=0.95, top_k=0, max_new_tokens=256)
print(tokenizer.decode(output[0], skip_special_tokens=True))
