Question 1

什么是Promptfoo？

Accepted Answer

**promptfoo** 是一个专为开发者设计的开源LLM测试工具，旨在帮助用户测试和保障生成式AI应用的安全性与可靠性。它通过自动化红队测试和持续监控，帮助开发者发现并修复潜在的安全漏洞，确保AI应用的高质量输出。

Question 2

Promptfoo的核心功能有哪些？

Accepted Answer

* **自动化红队测试**：动态扫描应用，检测PII泄露、工具使用不当、跨会话数据泄露等常见问题。
* **自定义探针**：根据应用需求定制测试，识别真正关心的故障，而不仅仅是通用的越狱和提示注入。
* **开发者友好**：命令行界面、实时重载和缓存，无需SDK、云依赖或登录。
* **开源社区支持**：被数百万用户使用的团队支持，拥有活跃的开源社区。

Question 3

Promptfoo的使用案例有哪些？

Accepted Answer

* **预算旅行代理**：通过定制测试用例，确保系统在特定场景下的表现。
* **医疗和法律建议**：检测生成式AI是否提供专业且安全的建议。
* **品牌风险控制**：防止生成内容对品牌形象造成负面影响。

Question 4

如何使用Promptfoo？

Accepted Answer

1. 安装工具：`npx promptfoo@latest redteam init`
2. 配置测试用例：在YAML文件中定义测试目标和场景。
3. 运行测试：通过命令行执行测试，查看详细且可操作的结果。

Question 5

promptfoo是否支持自定义测试？

Accepted Answer

是的，promptfoo允许用户根据应用需求定制测试探针，识别特定故障。

Question 6

promptfoo是否需要云依赖？

Accepted Answer

不需要，promptfoo完全基于命令行，无需云依赖或登录。

Question 7

promptfoo是否开源？

Accepted Answer

是的，promptfoo是一个开源工具，拥有活跃的社区支持。