¿Qué es Promptfoo?
promptfoo es una herramienta de código abierto diseñada para probar y asegurar aplicaciones de modelos de lenguaje (LLM). Utilizada por más de 60,000 desarrolladores, ayuda a identificar y corregir vulnerabilidades, maximizar la calidad de las respuestas y evitar regresiones en tus aplicaciones de IA.
¿Cuáles son las características de Promptfoo?
- Red Team Automatizado: Detecta riesgos de seguridad, legales y de marca con escaneos personalizados.
- Cobertura de Seguridad Completa: Identifica fugas de datos, inyecciones de prompts y contenido dañino.
- Interfaz de Línea de Comandos: Fácil de usar, con recarga en vivo y caché, sin necesidad de SDKs o dependencias en la nube.
- Configuración Declarativa: Define casos de prueba específicos para tu aplicación de IA.
¿Cuáles son los casos de uso de Promptfoo?
- Seguridad en IA: Detectar fugas de información personal (PII) y uso inseguro de herramientas.
- Monitoreo Continuo: Evitar inyecciones de prompts y jailbreaks en aplicaciones de LLM.
- Evaluación de Calidad: Asegurar que las respuestas de tu IA sean precisas y confiables.
¿Cómo usar Promptfoo?
- Instala promptfoo con
npx promptfoo@latest redteam init. - Define tus casos de prueba en un archivo YAML.
- Ejecuta escaneos personalizados para identificar vulnerabilidades.
