Probaré tu agente de IA, aplicación de LLM o chatbot en busca de errores y inyección de prompts

¿Estás enviando un agente de IA, chatbot o función de LLM y no estás seguro de cómo se comporta cuando los usuarios reales interactúan?

Soy Tajveed, un SDET senior con 9 años en desarrollo de software y 6 en automatización de pruebas. Pasé 5 años probando sistemas empresariales impulsados por IA en Afiniti. Pruebo productos de IA de la misma forma.

Lo que busco:

• Respuestas rotas, vacías o mal formateadas
• Contexto perdido a lo largo de las interacciones en una conversación
• Llamadas a herramientas y funciones que fallan o son incorrectas
• Inyección de prompts e intentos de jailbreak en tu prompt del sistema
• Alucinaciones y deriva respecto a tu base de conocimiento
• Casos límite: entradas largas, otros idiomas, caracteres especiales
• Tiempo de espera, límites de tasa y manejo de errores

Lo que obtendrás:

• Un informe de defectos claro: pasos para reproducir, esperado vs. actual, severidad, capturas
• Automatización Playwright que puedas volver a ejecutar en cada versión (Estándar y Premium)
• Configuración de CI para que la suite corra en cada push (Premium)

Pila: Playwright, Python, pytest, JavaScript, TypeScript, Node.js, Postman.

Envía el enlace de tu app o el repositorio antes de encargar y te diré qué vale la pena probar y qué paquete se ajusta mejor.