Cuantización

Categoría: cuantizacion inferencia optimizacion modelos

Definición

Técnica de compresión de modelos que reduce la precisión numérica de los Pesos (y opcionalmente de las activaciones o el KV Cache) de una Red Neuronal, transformando números de coma flotante de 16 o 32 bits (BF16/FP16/FP32) en representaciones enteras o de coma flotante de baja precisión (8, 4, 3 o incluso 2 bits). Es la tecnología que hace posible ejecutar LLM de decenas de miles de millones de parámetros en la VRAM de una GPU de consumo.

Puntos clave

  • Por qué funciona y cómo acelera la Inferencia:
    • Ahorro de memoria: Pasar de BF16 (16 bits) a 4 bits reduce el tamaño del modelo en ~70–75% (un modelo de 32B pasa de ~64 GB a ~19 GB).
    • Aumento de velocidad (tokens/s): Como la fase de generación (Decoding) está limitada por el ancho de banda de la VRAM, leer pesos de 4 bits en lugar de 16 bits significa mover 4 veces menos bytes por el bus de memoria en cada token generado.
  • El enemigo número uno: los valores atípicos (Outliers):
    • En los Transformers grandes existen ciertos canales de pesos con magnitudes extremas que dominan la precisión del modelo. Si aplicas un escalado lineal uniforme a todo un tensor, esos outliers aplastan la resolución de todos los demás pesos normales.
    • Soluciones modernas en IA local:
      • Cuantización por bloques (Group-wise): Divide las matrices en grupos pequeños (ej. 32, 64 o 128 pesos), cada uno con su propio factor de escala (scale) y punto cero (zero-point).
      • Rotaciones de incoherencia (Hadamard) y cuantización vectorial: Usadas por EXL3 (QTIP) y IQ-quants de GGUF, redistribuyen matemáticamente la energía de los outliers antes de cuantizar, permitiendo bajar a 2.5–3.5 bits sin destruir la inteligencia del modelo.
  • Tipos de cuantización en la práctica (PTQ vs. QAT):
    • PTQ (Post-Training Quantization): Se aplica después de entrenar el modelo. Puede ser Data-Free (ej. GGUF Q4_0, FP8 rápido) o Calibrada (requiere pasar un pequeño dataset de calibración para medir qué pesos son más sensibles a los errores, como en EXL3, GPTQ, AWQ o GGUF imatrix).
    • QAT (Quantization-Aware Training): El modelo se entrena simulando el ruido de baja precisión durante el entrenamiento, logrando máxima fidelidad en tamaños ultra bajos (1.58-bit / BitNet o 4-bit nativo).
  • Mapa rápido de formatos en IA local (cuál elegir):
    • EXL3 (ExLlamaV3): Máxima calidad por bit y velocidad extrema si el modelo cabe 100% en VRAM de NVIDIA.
    • GGUF (llama.cpp): Máxima compatibilidad multiplataforma y ejecución híbrida GPU + CPU/RAM.
    • FP8 / AWQ / GPTQ: Estándares para motores de servidor de alto rendimiento como vLLM (especialmente FP8 nativo en GPUs RTX 40/50).
    • NF4 (bitsandbytes): Diseñado específicamente para entrenamiento local con QLoRA.