Benchmark
Categoría: evaluacion modelos investigacion
Definición
Conjunto estandarizado de pruebas, problemas y métricas diseñado para medir y comparar objetivamente las capacidades de distintos modelos de IA en áreas específicas (razonamiento matemático, generación de código, seguimiento de instrucciones, uso de herramientas o seguridad).
Puntos clave
- Principales categorías y referentes actuales:
- Código e ingeniería de software: SWE-bench Verified (resolver issues reales de repositorios Git), LiveCodeBench (problemas nuevos sin contaminación de datos), HumanEval (ya saturado).
- Razonamiento, ciencia y matemáticas: GPQA Diamond (preguntas de física/química/biología nivel doctorado), AIME / MATH-500 (matemáticas de competición), ARC-AGI (razonamiento abstracto fluido).
- Conocimiento general y seguimiento: MMLU-Pro (versión endurecida del clásico MMLU), IFEval (cumplimiento estricto de restricciones de formato).
- Preferencia humana ciega: Chatbot Arena (LMSYS), basado en votaciones Elo de usuarios reales comparando dos modelos anónimos cara a cara.
- Por qué desconfiar de los benchmarks públicos al elegir modelos locales:
- Contaminación de datos (Data Contamination): Muchos modelos se entrenan (accidental o intencionalmente) con preguntas filtradas de los benchmarks, inflando sus puntuaciones sin mejorar su inteligencia real (overfitting al test).
- Evaluación en
BF16vs. Cuantización: Los laboratorios publican resultados de sus modelos sin comprimir; un modelo líder en tablas puede degradarse más que otro al bajarlo a4 bits(EXL3 / GGUF).
- Regla de ingeniería: Usa los benchmarks públicos solo como filtro inicial y construye tu propio Eval privado (20–50 casos reales de tu flujo de trabajo) para decidir qué modelo y qué nivel de cuantización se queda en tu disco.