Crearé tareas genuinas de benchmark de Terminal Hard y SWE Bench

Parte de la información se ha traducido automáticamente.

India

Hablo Hindi, Inglés

evaluación con IA

Soy candidato a B.Tech. con experiencia práctica creando y revisando tareas de bench de Terminal y bench de SWE para agentes de IA de frontera y construyendo sistemas Python ML/RAG. Me especializo en ...
Acerca de este Servicio

Soy un autor experimentado de Terminal Bench y benchmarks de SWE Bench.


He creado y enviado 32 tareas duras de Terminal-Bench 2.1 a través de la plataforma Snorkel AI para entrenamiento y evaluación de agentes de frontera de IA, de las cuales 21 fueron aceptadas.


He sido seleccionado como revisor para la revisión de tareas de benchmark SWE-bench para apoyar la revisión de calidad y preparación de las tareas. Revisé 83 tareas enviadas de SWE-bench e implementé correcciones cuando fue necesario.


También he enviado 21 tareas de benchmark SWE Bench, y 17 fueron aceptadas de ellas


También he creado 13 tareas de Terminal Bench 3.0 hasta ahora.

Hasta ahora se han creado 18 tareas de Terminal Bench 4.0.


En este gig estoy ofreciendo tareas de los siguientes benchmarks:


  1. Terminal Bench 2.1
  2. Terminal Bench 3.0
  3. Terminal Bench 4.0
  4. SWE Bench


Hay tres paquetes (Básico, Estándar y Premium) que contienen distinto número de tareas en cada paquete.


Garantizo tareas de alta calidad y dificultad genuina alta (evitando fallos falsos) sin importar el paquete que compres.

Etiquetas relacionadas