什麼是Braintrust？
Braintrust 是專為 AI 代理設計的活躍可觀測性平台，協助團隊監控生產環境中的代理行為並持續優化品質。使用者需透過註冊帳戶或聯繫銷售來存取此服務，以執行從追蹤記錄到評估測試的工作流。
Braintrust的特色是什麼？
- 即時代理追蹤檢查提示、回應和工具呼叫，並搜尋數百萬筆日誌以監控延遲、成本與品質。
- 多模式評估使用 LLM、程式碼或人工評分輸出結果，並對真實資料集執行實驗以比較不同提示與模型。
- 自動化模式發現利用自然語言調查追蹤記錄，自動識別重複出現的問題與機會，並驗證證據以改進品質。
- Loop 代理優化描述需要優化的目標，系統會自動生成更好的提示、評分器和資料集以提升代理效能。
- IDE 整合 (MCP)透過 Braintrust 的 MCP 伺服器，直接在開發環境中查詢日誌、執行評估並更新提示。
- 原生 SDK 支援提供 Python、TypeScript、Go、Ruby、C# 等 SDK，僅需幾行程式碼即可開始追蹤生產代理。
Braintrust的使用案例有哪些？
- 生產環境除錯工程師在代理出現異常時，利用 Nitro 查詢引擎快速檢索長提示與工具呼叫記錄以定位問題。
- 回歸測試建立產品經理將生產環境中的失敗案例一鍵轉換為評估資料集，確保新發布版本不會重現舊錯誤。
- 自定義註解介面團隊根據工作流需求（如支援對話或程式碼生成）建立特定任務的追蹤視圖，無需前端開發即可進行審查。
如何使用Braintrust？
- 整合 SDK在應用程式中使用 Python、TypeScript 或其他支援的語言 SDK 植入程式碼，開始記錄代理軌跡。
- 檢視追蹤登入網頁版平台，即時查看代理執行的提示、回應及工具呼叫細節。
- 定義評估設定評分標準，選擇使用 LLM、程式碼或人工方式對輸出結果進行質量打分。
- 執行實驗針對真實資料集運行評估，比較不同提示工程或模型的表現差異。
- 發現模式利用 Patterns 功能分析大量追蹤記錄，找出反覆出現的行為模式以指導後續優化。
