QLoRA
Categoría: entrenamiento cuantizacion fine-tuning
Definición
Extensión de LoRA que permite realizar ajuste fino (fine-tuning) de LLM grandes en GPUs de consumo con poca VRAM. Carga el modelo base congelado en 4 bits mientras entrena las matrices adaptadoras de bajo rango ( y ) en precisión de 16 bits (BF16/FP16), descomprimiendo los pesos al vuelo durante el paso hacia adelante y atrás.
Puntos clave
- Las 3 innovaciones técnicas que reducen la VRAM:
- NormalFloat 4-bit (
NF4): Tipo de dato óptimo desde el punto de vista de la teoría de la información para pesos de redes neuronales distribuidos normalmente, logrando mayor fidelidad que unINT4estándar. - Doble cuantización (Double Quantization): Cuantiza también las propias constantes de escalado de los bloques de 4 bits, ahorrando ~0.37 bits adicionales por parámetro (varios gigabytes en modelos grandes).
- Optimizadores paginados (Paged Optimizers): Utiliza memoria unificada de NVIDIA CUDA para mover temporalmente los estados del optimizador (
AdamW 8-bit) de la VRAM a la RAM del sistema cuando ocurren picos de memoria en secuencias largas, evitando erroresOut of Memory (OOM).
- NormalFloat 4-bit (
- El compromiso (Trade-off) Velocidad vs. Memoria: Reduce el consumo de VRAM en un 60–75% frente a LoRA estándar (ej. permite entrenar un modelo de 32B en 24 GB de VRAM), pero introduce una penalización de velocidad del 25–40% porque la GPU debe descomprimir constantemente los pesos
NF4aBF16en cada operación matricial. - Ecosistema en Linux (
bitsandbytesyUnsloth): Se ejecuta sobre PyTorch yPEFTde Hugging Face. Herramientas como Unsloth reescriben los kernels de retropropagación en Triton, duplicando la velocidad de entrenamiento de QLoRA y reduciendo aún más el pico de VRAM. - Regla crítica al exportar/fusionar (Merge): Nunca fusiones un adaptador entrenado con QLoRA directamente sobre los pesos cuantizados en 4 bits (degrada severamente la calidad). El flujo correcto es cargar el modelo base original en
BF16/FP16en CPU/RAM, fusionar el adaptadorsafetensorsy recién después cuantizar el resultado a EXL3 o GGUF.