Explorar las categorías
Español
$
USD
Conéctate con tu IA
Haré una suite de evaluación de llm o auditaré tu juez de llm
Adham Momen
Acerca de este Servicio
Traducción automática
Tu característica de LLM pasó la demo. ¿Seguirá pasando tras el próximo prompt o tras un cambio de modelo?
Yo construyo suites de evaluación que responden a eso. Obtendrás una rúbrica escrita para tu caso de uso, un conjunto de pruebas con respuestas esperadas y, si un LLM evalúa tus resultados, una verificación de cuánta confianza merece ese juez.
Qué obtendrás:
- Una rúbrica y un conjunto de pruebas configurados alrededor de tus modos de fallo reales
- Auditoría LLM-as-judge: acuerdo con calificaciones humanas, corrección por azar (kappa de Cohen, alfa de Krippendorff), además de sondas de sesgo
- Una puerta de regresión CI (Premium) para que cada cambio se compare con la suite
Por qué yo: construí judgecheck, un informe de fiabilidad para jueces de LLM que muestra cómo un 96% de acuerdo bruto puede ocultar puntuaciones corregidas por azar tan bajas como 0.60, y coding-eval, que reproduce intentos de agentes de codificación en un sandbox (20 de 21 éxitos reclamados; 5 exitosos). Evalúo código de modelos de frontera profesionalmente y desarrollo herramientas de rúbrica y calibración para IA clínica en árabe.
Envíame un mensaje con lo que hace la característica, algunos ejemplos de entradas y salidas, y cómo se ve una buena respuesta para ti.
Conoce a Adham Momen
Adham Momen
AI Red Teaming and LLM Evaluation Engineer
- DeEgipto
- Miembro desdejul 2021
Idiomas
Árabe, Inglés
I test AI systems the way attackers do: prompt injection, jailbreaks, data leakage and unsafe agent tool use. You get a report with working reproductions and fixes. I also build LLM evaluation suites and RAG/MCP backends in Python. I've published tools that red-team agents and audit LLM judges and guardrails (adhammomen.com), evaluate frontier-model code professionally, and contribute to open-source AI projects. I'm a fourth-year medical student and a native Arabic speaker, so I also cover medical and Arabic AI.
Traducción automática
Mi porfolio
Otros servicios de Desarrollo de IA que ofrezco
FAQ
Traducción automática
¿Qué necesitas de mí?
Acceso al modelo o API que uses (o un archivo con salidas guardadas), algunos inputs reales de ejemplo y cualquier calificación humana que ya tengas. Si no tienes ninguna, acordamos una ronda breve de calificación juntos.
