什么是Braintrust？
Braintrust 是一个面向智能体（Agents）的主动可观测性平台，旨在帮助团队监控生产环境中的智能体行为、评估输出质量并发现潜在问题。该平台支持通过 Web 界面和 SDK 集成使用，允许用户追踪提示词、响应及工具调用，并利用 LLM、代码或人工进行评分以持续优化发布质量。
Braintrust的核心功能有哪些？
- 实时追踪与检查实时监控并检查智能体的提示词、响应内容及工具调用轨迹，支持跨数百万日志搜索延迟、成本和质量数据。
- 多维评估体系基于真实数据集运行实验，对比不同提示词和模型，并通过 LLM、自定义代码或人工标注对输出结果进行评分。
- 模式自动发现利用自然语言调查生产环境中的追踪记录，自动识别重复出现的行为模式、故障原因及值得深入研究的趋势。
- 自动化优化工具 Loop根据用户描述的优化目标，自动生成更优的提示词、评分器（Scorers）和数据集，辅助提升智能体性能。
- 一键生成评估数据集将生产环境中的失败案例和边缘情况直接转化为回归测试用的评估数据集，无需手动构建合成样本。
- 多语言 SDK 支持提供 Python、TypeScript、Go、Ruby、C# 等原生 SDK，仅需少量代码即可开始追踪生产环境中的智能体。
Braintrust的使用案例有哪些？
- 部署前质量拦截在新功能上线前，通过运行评估实验对比不同版本表现，阻止低质量或存在缺陷的代码进入生产环境。
- 生产故障根因分析当智能体在生产环境中表现异常时，利用模式发现和证据支撑的调查功能，快速定位导致失败的特定行为或提示词逻辑。
- IDE 内直接调试开发者可在集成开发环境（IDE）中通过 MCP 服务器直接查询日志、运行评估并更新提示词，无需切换至独立控制台。
如何使用Braintrust？
- 集成追踪使用支持的 SDK（如 Python 或 TypeScript）在代码中添加几行指令，以开始捕获智能体的执行轨迹。
- 定义评估标准在平台中创建数据集并配置评分器（LLM、代码或人工），明确“优质”输出的具体衡量指标。
- 运行实验针对新版本的提示词或模型运行评估实验，系统会自动对比输出结果并生成质量分数。
- 调查生产数据若发现生产环境问题，使用自然语言查询追踪记录，或通过 Pattern 功能识别反复出现的故障模式。
- 迭代优化利用 Loop 功能或手动调整提示词后，再次运行评估以确保改进有效，随后部署新版本。
