Confident AI

Что такое Confident AI?

Confident AI — это платформа для оценки и улучшения производительности приложений на основе больших языковых моделей (LLM). С помощью DeepEval вы можете тестировать, сравнивать и оптимизировать свои LLM-системы, используя лучшие метрики и защитные механизмы.

Какие особенности у Confident AI?

• Оценка LLM: Тестируйте и сравнивайте различные реализации LLM, чтобы находить оптимальные решения.
• Наблюдаемость: Мониторинг, трассировка и A/B тестирование в реальном времени.
• Обновление данных: Поддерживайте актуальность ваших данных с учетом реальных производственных условий.
• Интеграция с Pytest: Тестируйте LLM-системы в CI/CD без изменения рабочего процесса.
• Аннотирование данных: Создавайте и обновляйте наборы данных для более точной оценки.

Какие случаи использования Confident AI?

• Оптимизация промптов и моделей LLM.
• Снижение затрат на использование LLM (например, на 80%, как в случае с Supernormal).
• Обнаружение регрессий и улучшение производительности LLM-приложений.

Как использовать Confident AI?

1. Установите DeepEval с помощью команды:

   pip install -U deepeval
   

2. Создайте тестовый сценарий и запустите его:

   from deepeval import assert_test, LLMTestCase
   from deepeval.metrics import AnswerRelevancy
   
   @pytest.mark.parametrize("test_case", dataset)
   def test_llm_app(test_case: LLMTestCase):
       assert_test(test_case, metrics=[AnswerRelevancy()])