Cuantización
Categoría: cuantizacion inferencia optimizacion modelos
Definición
Técnica de compresión de modelos que reduce la precisión numérica de los Pesos (y opcionalmente de las activaciones o el KV Cache) de una Red Neuronal, transformando números de coma flotante de 16 o 32 bits (BF16/FP16/FP32) en representaciones enteras o de coma flotante de baja precisión (8, 4, 3 o incluso 2 bits). Es la tecnología que hace posible ejecutar LLM de decenas de miles de millones de parámetros en la VRAM de una GPU de consumo.
Puntos clave
- Por qué funciona y cómo acelera la Inferencia:
- Ahorro de memoria: Pasar de
BF16(16 bits) a4 bitsreduce el tamaño del modelo en ~70–75% (un modelo de 32B pasa de ~64 GB a ~19 GB). - Aumento de velocidad (tokens/s): Como la fase de generación (Decoding) está limitada por el ancho de banda de la VRAM, leer pesos de 4 bits en lugar de 16 bits significa mover 4 veces menos bytes por el bus de memoria en cada token generado.
- Ahorro de memoria: Pasar de
- El enemigo número uno: los valores atípicos (Outliers):
- En los Transformers grandes existen ciertos canales de pesos con magnitudes extremas que dominan la precisión del modelo. Si aplicas un escalado lineal uniforme a todo un tensor, esos outliers aplastan la resolución de todos los demás pesos normales.
- Soluciones modernas en IA local:
- Cuantización por bloques (Group-wise): Divide las matrices en grupos pequeños (ej. 32, 64 o 128 pesos), cada uno con su propio factor de escala (scale) y punto cero (zero-point).
- Rotaciones de incoherencia (Hadamard) y cuantización vectorial: Usadas por EXL3 (QTIP) y
IQ-quants de GGUF, redistribuyen matemáticamente la energía de los outliers antes de cuantizar, permitiendo bajar a 2.5–3.5 bits sin destruir la inteligencia del modelo.
- Tipos de cuantización en la práctica (PTQ vs. QAT):
- PTQ (Post-Training Quantization): Se aplica después de entrenar el modelo. Puede ser Data-Free (ej.
GGUF Q4_0,FP8rápido) o Calibrada (requiere pasar un pequeño dataset de calibración para medir qué pesos son más sensibles a los errores, como en EXL3,GPTQ,AWQoGGUF imatrix). - QAT (Quantization-Aware Training): El modelo se entrena simulando el ruido de baja precisión durante el entrenamiento, logrando máxima fidelidad en tamaños ultra bajos (1.58-bit / BitNet o 4-bit nativo).
- PTQ (Post-Training Quantization): Se aplica después de entrenar el modelo. Puede ser Data-Free (ej.
- Mapa rápido de formatos en IA local (cuál elegir):
- EXL3 (ExLlamaV3): Máxima calidad por bit y velocidad extrema si el modelo cabe 100% en VRAM de NVIDIA.
- GGUF (
llama.cpp): Máxima compatibilidad multiplataforma y ejecución híbrida GPU + CPU/RAM. FP8/AWQ/GPTQ: Estándares para motores de servidor de alto rendimiento como vLLM (especialmenteFP8nativo en GPUs RTX 40/50).NF4(bitsandbytes): Diseñado específicamente para entrenamiento local con QLoRA.