LoRA

Categoría: entrenamiento fine-tuning modelos

Definición

Técnica de ajuste fino eficiente en parámetros (PEFT) que permite adaptar un LLM preentrenado a una tarea, estilo o dominio específico sin modificar sus pesos originales. Congela el modelo base y entrena únicamente dos matrices pequeñas de bajo rango ( y ) inyectadas en paralelo a las capas lineales.

Puntos clave

  • Cómo ahorra VRAM y almacenamiento: En lugar de actualizar una matriz gigante (ej. parámetros), entrena dos matrices delgadas () y () donde el rango es muy pequeño (ej. ). Esto reduce los parámetros entrenables en más de un 99% y genera archivos adaptadores ligeros de 50 MB a 500 MB en formato safetensors.
  • Hiperparámetros críticos al entrenar o evaluar un LoRA:
    • Rango (r / Rank): Dimensión interna de las matrices y (típico: 8, 16, 32, 64). Mayor rango da más capacidad de memorización, pero exige más VRAM y riesgo de sobreajuste (overfitting).
    • lora_alpha: Factor de escala que controla cuánto peso tiene el adaptador frente al modelo base (se aplica como ). Una regla habitual es fijar alpha = r o alpha = 2 * r.
    • target_modules: Qué capas se adaptan. Para máxima calidad en LLMs modernos se aplican a todas las proyecciones lineales (q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj), no solo a atención.
  • QLoRA (Entrenamiento en GPUs de consumo): Combina LoRA con un modelo base cuantizado a 4 bits (NF4) y optimizadores paginados en PyTorch (bitsandbytes o Unsloth), permitiendo entrenar modelos de 7B–14B en una sola GPU con 12–16 GB de VRAM o de 32B en 24 GB.
  • Dos formas de usarlo en inferencia local:
    • Carga dinámica (Hot-swapping): Motores como ExLlamaV3, llama.cpp o vLLM permiten montar y desmontar distintos adaptadores LoRA en caliente sobre el mismo modelo base cargado en VRAM.
    • Fusión (Merge): Sumar matemáticamente para exportar un modelo independiente con cero penalización de velocidad en inferencia (paso previo obligatorio antes de cuantizar a EXL3 o GGUF).