Perplejidad
Categoría: evaluacion cuantizacion fundamentos
Definición
Métrica estadística estándar (abreviada PPL) que mide qué tan “sorprendido” o incierto está un LLM al predecir una secuencia de texto de prueba. En ingeniería de IA local es el termómetro principal para medir cuánta calidad matemática perdió un modelo tras aplicarle Cuantización (EXL3, GGUF) frente a sus Pesos originales en BF16.
Puntos clave
- Interpretación directa (Menor = Mejor):
- Una perplejidad de 1.0 significaría que el modelo predice el siguiente Token con certeza absoluta del 100%.
- Una perplejidad de 5.5 significa que, en promedio, el modelo duda entre unas 5.5 opciones equiprobables por cada token.
- Regla empírica en cuantización local: Al comparar un modelo comprimido contra su base
FP16/BF16sobre el mismo texto (habitualmente el dataset WikiText-2):- : Pérdida imperceptible en uso real (típico de
Q8_0oEXL3 4.5+ bpw). - entre y : Punto dulce óptimo (típico de
GGUF Q4_K_MoEXL3 3.5–4.0 bpw). - : Degradación severa; el modelo empieza a cometer errores lógicos o repetir texto.
- : Pérdida imperceptible en uso real (típico de
- Trampas técnicas que invalidan una comparación (¡Cuidado!):
- Nunca compares PPL entre modelos con distinto Vocabulario: Como la probabilidad se reparte entre el tamaño del diccionario (
vocab_size), un modelo con vocabulario de 128k (Llama 3) tendrá una escala de PPL distinta a uno de 32k (Mistral) aunque ambos sean igual de buenos. Solo sirve para comparar distintas cuantizaciones o ajustes del mismo modelo. - Longitud de contexto: Evaluar a 512 tokens vs. 4096 tokens cambia la PPL (a mayor contexto, menor perplejidad porque el modelo tiene más pistas previas).
- Nunca compares PPL entre modelos con distinto Vocabulario: Como la probabilidad se reparte entre el tamaño del diccionario (
- Limitación crítica: Una baja perplejidad garantiza fluidez gramatical y retención estadística, pero no mide capacidad de razonamiento ni precisión en Tool Calling, por lo que en local siempre debe complementarse con pruebas prácticas de código o lógica.