Crearé un flujo de trabajo de un agente de IA con evaluación rag que realiza un trabajo real

La mayoría de las demos de agentes funcionan una vez y se rompen en la primera semana que enfrentan datos reales. Yo construyo las partes que hacen que puedan aguantar.

Una puerta de aprobación humana, para que no suceda nada irreversible sin la firma. Un ciclo de validación que envía el trabajo de regreso hasta que converge, en lugar de aceptar la primera respuesta plausible. Un sistema de evaluación, para que cuando cambies un prompt o cambies de modelo puedas saber si mejoró.

Orquestación de múltiples agentes cuando uno solo no basta: un proponente funciona, un validador independiente rechaza lo que rompe la restricción y vuelve corregido.

Si tu agente responde a partir de tus propios documentos, eso es RAG, y lo difícil es saber si la recuperación devuelve el pasaje correcto. Construyo la evaluación de RAG con eso, en un conjunto reservado que vuelves a correr después de cada cambio, para que la calidad sea un número, no una sensación.

Ocho años como ingeniero de backend y datos en una empresa de datos empresariales: 439 solicitudes de extracción revisadas en 19 repositorios, 107 incidentes resueltos.

Conecta el flujo de trabajo a tus herramientas, el sistema, el código fuente y la documentación. Java, Python, TypeScript. GPT, Claude, Gemini.

Dime cuál es el trabajo y te diré honestamente si un agente es la herramienta adecuada.