Perplejidad

Categoría: evaluacion cuantizacion fundamentos

Definición

Métrica estadística estándar (abreviada PPL) que mide qué tan “sorprendido” o incierto está un LLM al predecir una secuencia de texto de prueba. En ingeniería de IA local es el termómetro principal para medir cuánta calidad matemática perdió un modelo tras aplicarle Cuantización (EXL3, GGUF) frente a sus Pesos originales en BF16.

Puntos clave

  • Interpretación directa (Menor = Mejor):
    • Una perplejidad de 1.0 significaría que el modelo predice el siguiente Token con certeza absoluta del 100%.
    • Una perplejidad de 5.5 significa que, en promedio, el modelo duda entre unas 5.5 opciones equiprobables por cada token.
    • Regla empírica en cuantización local: Al comparar un modelo comprimido contra su base FP16/BF16 sobre el mismo texto (habitualmente el dataset WikiText-2):
      • : Pérdida imperceptible en uso real (típico de Q8_0 o EXL3 4.5+ bpw).
      • entre y : Punto dulce óptimo (típico de GGUF Q4_K_M o EXL3 3.5–4.0 bpw).
      • : Degradación severa; el modelo empieza a cometer errores lógicos o repetir texto.
  • Trampas técnicas que invalidan una comparación (¡Cuidado!):
    • Nunca compares PPL entre modelos con distinto Vocabulario: Como la probabilidad se reparte entre el tamaño del diccionario (vocab_size), un modelo con vocabulario de 128k (Llama 3) tendrá una escala de PPL distinta a uno de 32k (Mistral) aunque ambos sean igual de buenos. Solo sirve para comparar distintas cuantizaciones o ajustes del mismo modelo.
    • Longitud de contexto: Evaluar a 512 tokens vs. 4096 tokens cambia la PPL (a mayor contexto, menor perplejidad porque el modelo tiene más pistas previas).
  • Limitación crítica: Una baja perplejidad garantiza fluidez gramatical y retención estadística, pero no mide capacidad de razonamiento ni precisión en Tool Calling, por lo que en local siempre debe complementarse con pruebas prácticas de código o lógica.