Question 1

什麼是Confident AI？

Accepted Answer

**Confident AI** 是一個專為 LLM（大型語言模型）應用程式設計的評估平台，幫助你測試、監控、並提升 LLM 的表現。無論你是想優化提示詞、模型，還是捕捉性能衰退，Confident AI 都能提供最佳的評估指標和防護措施。

Question 2

Confident AI的特色是什麼？

Accepted Answer

* **LLM 評估**：透過 DeepEval 的強大指標，快速測試和比較不同 LLM 系統的表現。
* **LLM 監控**：實時追蹤 LLM 的輸出，並自動評估其性能，確保你的應用始終保持最佳狀態。
* **數據集管理**：在一個平台上集中管理你的評估數據集，確保數據始終是最新且符合實際生產環境。
* **自定義評估指標**：根據你的特定需求，調整評估指標，確保它們與你的業務目標一致。

Question 3

Confident AI的使用案例有哪些？

Accepted Answer

* **LLM 成本優化**：透過精確的評估和監控，幫助企業大幅降低 LLM 的運營成本。
* **性能監控**：在生產環境中實時監控 LLM 的表現，及時發現並解決問題。
* **數據集更新**：確保你的評估數據集始終反映最新的生產數據，避免過時數據影響評估結果。

Question 4

如何使用Confident AI？

Accepted Answer

1. 安裝 DeepEval：`pip install -U deepeval`
2. 創建評估數據集：使用 `EvaluationDataset` 來管理和拉取你的數據集。
3. 運行評估：使用 `dataset.evaluate` 來測試你的 LLM 系統。
4. 監控 LLM 輸出：在 LLM 生成後，使用 `deepeval.monitor` 來追蹤和評估其表現。

Question 5

Confident AI 如何幫助我降低 LLM 成本？

Accepted Answer

透過精確的評估和監控，Confident AI 幫助你找到最優的模型和提示詞組合，從而大幅降低運營成本。

Question 6

我可以在 CI/CD 中使用 Confident AI 嗎？

Accepted Answer

當然可以！Confident AI 提供 Pytest 整合，讓你能在 CI/CD 中輕鬆測試 LLM 系統。

Question 7

Confident AI 是否支援自定義評估指標？

Accepted Answer

是的，你可以根據你的業務需求，調整評估指標，確保它們與你的目標一致。