Probaré tu chatbot de IA por alucinaciones y entregaré un informe

Has instalado un chatbot. ¿Cómo sabes cuándo inventa un precio, una política o una fecha límite antes de que un cliente se queje?

La mayoría de los asistentes de IA se construyen, lanzan y nunca se miden. Yo los mido.

Lo que hago:

1. Me das entre 30 y 50 preguntas reales que tu bot ya recibió (o las preparo a partir de tus documentos).
2. 2. Juntos definimos la respuesta correcta para cada una (verdad base).
3. 3. Las ejecuto contra tu bot y califico cada respuesta.
4. 4. Recibes un informe: tasa de precisión, matriz de confusión por tipo de pregunta, catálogo de modos de fallo con las conversaciones exactas, las respuestas incorrectas más costosas (dinero/política), y una solución concreta por modo de fallo.

Funciona con: GPTs personalizados, OpenAI Assistants, Claude, bots RAG (LangChain, Flowise, Botpress, Voiceflow), bots de WhatsApp, widgets en sitios web. Solo necesito una forma de hacerle preguntas al bot, sin acceso a código.

Antecedentes: construí y publiqué un sistema de evaluación para mi propio asistente de cumplimiento minorista (104 preguntas de prueba, matriz de confusión por regla, informe de modos de fallo con causas raíz). Mismo método, aplicado a tu bot.

Idiomas: inglés y español.