QLoRA

Categoría: entrenamiento cuantizacion fine-tuning

Definición

Extensión de LoRA que permite realizar ajuste fino (fine-tuning) de LLM grandes en GPUs de consumo con poca VRAM. Carga el modelo base congelado en 4 bits mientras entrena las matrices adaptadoras de bajo rango ( y ) en precisión de 16 bits (BF16/FP16), descomprimiendo los pesos al vuelo durante el paso hacia adelante y atrás.

Puntos clave

  • Las 3 innovaciones técnicas que reducen la VRAM:
    • NormalFloat 4-bit (NF4): Tipo de dato óptimo desde el punto de vista de la teoría de la información para pesos de redes neuronales distribuidos normalmente, logrando mayor fidelidad que un INT4 estándar.
    • Doble cuantización (Double Quantization): Cuantiza también las propias constantes de escalado de los bloques de 4 bits, ahorrando ~0.37 bits adicionales por parámetro (varios gigabytes en modelos grandes).
    • Optimizadores paginados (Paged Optimizers): Utiliza memoria unificada de NVIDIA CUDA para mover temporalmente los estados del optimizador (AdamW 8-bit) de la VRAM a la RAM del sistema cuando ocurren picos de memoria en secuencias largas, evitando errores Out of Memory (OOM).
  • El compromiso (Trade-off) Velocidad vs. Memoria: Reduce el consumo de VRAM en un 60–75% frente a LoRA estándar (ej. permite entrenar un modelo de 32B en 24 GB de VRAM), pero introduce una penalización de velocidad del 25–40% porque la GPU debe descomprimir constantemente los pesos NF4 a BF16 en cada operación matricial.
  • Ecosistema en Linux (bitsandbytes y Unsloth): Se ejecuta sobre PyTorch y PEFT de Hugging Face. Herramientas como Unsloth reescriben los kernels de retropropagación en Triton, duplicando la velocidad de entrenamiento de QLoRA y reduciendo aún más el pico de VRAM.
  • Regla crítica al exportar/fusionar (Merge): Nunca fusiones un adaptador entrenado con QLoRA directamente sobre los pesos cuantizados en 4 bits (degrada severamente la calidad). El flujo correcto es cargar el modelo base original en BF16/FP16 en CPU/RAM, fusionar el adaptador safetensors y recién después cuantizar el resultado a EXL3 o GGUF.