Question 1

什么是StableBeluga2？

Accepted Answer

**Stable Beluga 2** 是由 Stability AI 开发的一款基于 Llama2 70B 模型的高级语言模型，专为文本生成任务设计。它通过 Orca 风格的数据集进行微调，能够提供高质量的对话和文本生成服务。

Question 2

StableBeluga2的核心功能有哪些？

Accepted Answer

* **强大的文本生成能力**：基于 Llama2 70B 模型，能够生成流畅、连贯的文本。
* **高效的推理性能**：支持混合精度计算（BF16），优化了内存使用和计算速度。
* **灵活的提示格式**：使用特定的系统提示格式，确保模型输出符合预期。
* **多语言支持**：虽然主要针对英语，但模型可以处理多种语言的文本生成任务。

Question 3

StableBeluga2的使用案例有哪些？

Accepted Answer

* **智能对话助手**：用于客户服务、虚拟助手等场景，提供自然流畅的对话体验。
* **内容创作**：帮助作家、博主等生成创意文本、诗歌、故事等。
* **教育辅助**：为学生和教师提供学习材料生成、问题解答等服务。

Question 4

如何使用StableBeluga2？

Accepted Answer

* 安装必要的库：`pip install torch transformers`
* 加载模型和分词器：
```python
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("stabilityai/StableBeluga2", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("stabilityai/StableBeluga2", torch_dtype=torch.float16, low_cpu_mem_usage=True, device_map="auto")
```
* 使用系统提示格式进行对话：
```python
system_prompt = "#

Question 5

System:

Accepted Answer

You are Stable Beluga, an AI that follows instructions extremely well. Help as much as you can. Remember, be safe, and don't do anything illegal.

"
message = "Write me a poem please"
prompt = f"{system_prompt}#

Question 6

User: {message}

Accepted Answer

#

Question 7

Assistant:

Accepted Answer

"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
output = model.generate(**inputs, do_sample=True, top_p=0.95, top_k=0, max_new_tokens=256)
print(tokenizer.decode(output[0], skip_special_tokens=True))
```

Question 8

StableBeluga2联系邮箱：

Accepted Answer

lm@stability.ai

Question 9

Stable Beluga 2 支持哪些语言？

Accepted Answer

目前主要支持英语，但也可以处理其他语言的文本生成任务。

Question 10

如何确保模型输出的安全性？

Accepted Answer

在使用模型前，开发者应进行安全测试和调优，以确保模型输出符合预期。

Question 11

Stable Beluga 2 可以用于商业用途吗？

Accepted Answer

Stable Beluga 2 的微调检查点受 STABLE BELUGA NON-COMMERCIAL COMMUNITY LICENSE AGREEMENT 许可，不能用于商业用途。