Evaluaré y haré red team en los resultados de tu producto LLM o AI

Evalúo y hago red team en los resultados de AI/LLM para precisión, seguridad y modos de fallo, usando puntuaciones basadas en rúbricas, no en impresiones.

Antecedentes: hago esto profesionalmente para varias organizaciones de investigación en IA (bajo NDA), evaluando resultados por cumplimiento de instrucciones, precisión factual, razonamiento y seguridad, y comparando respuestas de modelos competidores para detectar alucinaciones y fallos en casos límite.

Evidencia, no adjetivos: EndpointDrift, uno de mis builds públicos, es un auditor de ensayos clínicos validado con un corpus congelado de 200 ensayos, con 358 etiquetas de oro y 101 pruebas. OSINT Fusion ejecuta una manada de verificación adversarial en más de 1,400 pruebas. Más información en thisistravissmith.com.

Lo que obtienes: una rúbrica adaptada a los modos de fallo reales de tu producto, una evaluación con puntuación de tus resultados, un informe escrito de fallos específicos (alucinaciones, respuestas inseguras, fallos en razonamiento, errores en instrucciones) con ejemplos, y una clasificación de severidad en lenguaje sencillo.

Aplicaciones ideales: funciones de IA previas al lanzamiento, QA de chatbots/agentes, comparación de versiones de modelos o prompts, revisiones de seguridad.

Envíame muestras de resultados (o acceso sandbox) y qué significa que sean “buenos”, y definiré el alcance de la evaluación.