Construiré una herramienta de evaluación RAG con métricas de calidad fundamentadas

Construiré un flujo de trabajo de evaluación reproducible para tu sistema de generación aumentada por recuperación. El trabajo puede medir la calidad de recuperación, la fundamentación de las respuestas y la calidad de las respuestas frente a un conjunto de evaluación representativo.

Recibirás código fuente en Python, manejo de configuraciones, métricas claras, un archivo de resultados legible por máquina, un informe conciso de hallazgos, pruebas automatizadas para los caminos principales y una guía de configuración. Los paquetes Estándar y Premium incluyen una herramienta reutilizable que puede ser ejecutada nuevamente a medida que cambian tus prompts, documentos o modelos.

Antes de hacer tu pedido, comparte la arquitectura RAG, un pequeño conjunto de preguntas representativas, los documentos fuente esperados y cualquier interfaz API documentada. Usa credenciales no productivas solo cuando sea necesaria una integración.

Este Gig excluye ajuste fino del modelo, despliegue en producción, decisiones reguladas, soporte continuo y acceso a credenciales confidenciales de producción. El alcance se acuerda antes de comenzar el trabajo.