Benchmark

Categoría: evaluacion modelos investigacion

Definición

Conjunto estandarizado de pruebas, problemas y métricas diseñado para medir y comparar objetivamente las capacidades de distintos modelos de IA en áreas específicas (razonamiento matemático, generación de código, seguimiento de instrucciones, uso de herramientas o seguridad).

Puntos clave

  • Principales categorías y referentes actuales:
    • Código e ingeniería de software: SWE-bench Verified (resolver issues reales de repositorios Git), LiveCodeBench (problemas nuevos sin contaminación de datos), HumanEval (ya saturado).
    • Razonamiento, ciencia y matemáticas: GPQA Diamond (preguntas de física/química/biología nivel doctorado), AIME / MATH-500 (matemáticas de competición), ARC-AGI (razonamiento abstracto fluido).
    • Conocimiento general y seguimiento: MMLU-Pro (versión endurecida del clásico MMLU), IFEval (cumplimiento estricto de restricciones de formato).
    • Preferencia humana ciega: Chatbot Arena (LMSYS), basado en votaciones Elo de usuarios reales comparando dos modelos anónimos cara a cara.
  • Por qué desconfiar de los benchmarks públicos al elegir modelos locales:
    • Contaminación de datos (Data Contamination): Muchos modelos se entrenan (accidental o intencionalmente) con preguntas filtradas de los benchmarks, inflando sus puntuaciones sin mejorar su inteligencia real (overfitting al test).
    • Evaluación en BF16 vs. Cuantización: Los laboratorios publican resultados de sus modelos sin comprimir; un modelo líder en tablas puede degradarse más que otro al bajarlo a 4 bits (EXL3 / GGUF).
  • Regla de ingeniería: Usa los benchmarks públicos solo como filtro inicial y construye tu propio Eval privado (20–50 casos reales de tu flujo de trabajo) para decidir qué modelo y qué nivel de cuantización se queda en tu disco.