Crearé un sistema de evaluación de llm con límites y un control de calidad en ci

Tu aplicación de LLM funciona en la demo. La pregunta es qué se envía a los usuarios después del próximo cambio en el prompt, y la mayoría de los equipos no tienen forma de saberlo. Eso es lo que construyo: la capa de evaluación de LLM para tu función.

Lo que obtienes:

1. Evaluación de harness: un conjunto de pruebas etiquetadas de referencia para tu pipeline, puntuadas automáticamente. Verificaciones exactas donde lo exacto es justo, puntuación de juez donde la redacción varía, así que una respuesta correcta formulada de otra manera aún pasa.
2. Puerta de calidad CI (Standard+): el harness se ejecuta en cada cambio y falla la compilación cuando la calidad empeora. Las regresiones silenciosas dejan de enviar.
3. Guardrails (Avanzado): una protección contra inyección de prompts y jailbreaks, una protección de salida que redacts secretos filtrados y PII, cada una medida con su propia batería de pruebas comprometidas, incluyendo verificaciones de falsos positivos en parecidos inofensivos. Una protección que bloquea a usuarios reales es solo un tipo diferente de interrupción.

Cómo trabajo: solo números honestos. Cada métrica que reporto es reproducible a partir de casos de prueba comprometidos, puedes volver a ejecutar todo tú mismo. Si tu configuración no se beneficiará de esto, lo digo antes de que pagues, no después.

Funciona con OpenAI, Claude, Gemini o tus propios modelos. Basado en Python, se integra con GitHub Actions o cualquier CI.