LoRA
Categoría: entrenamiento fine-tuning modelos
Definición
Técnica de ajuste fino eficiente en parámetros (PEFT) que permite adaptar un LLM preentrenado a una tarea, estilo o dominio específico sin modificar sus pesos originales. Congela el modelo base y entrena únicamente dos matrices pequeñas de bajo rango ( y ) inyectadas en paralelo a las capas lineales.
Puntos clave
- Cómo ahorra VRAM y almacenamiento: En lugar de actualizar una matriz gigante (ej. parámetros), entrena dos matrices delgadas () y () donde el rango es muy pequeño (ej. ). Esto reduce los parámetros entrenables en más de un 99% y genera archivos adaptadores ligeros de 50 MB a 500 MB en formato
safetensors. - Hiperparámetros críticos al entrenar o evaluar un LoRA:
- Rango (
r/ Rank): Dimensión interna de las matrices y (típico:8,16,32,64). Mayor rango da más capacidad de memorización, pero exige más VRAM y riesgo de sobreajuste (overfitting). lora_alpha: Factor de escala que controla cuánto peso tiene el adaptador frente al modelo base (se aplica como ). Una regla habitual es fijaralpha = roalpha = 2 * r.target_modules: Qué capas se adaptan. Para máxima calidad en LLMs modernos se aplican a todas las proyecciones lineales (q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj), no solo a atención.
- Rango (
- QLoRA (Entrenamiento en GPUs de consumo): Combina LoRA con un modelo base cuantizado a 4 bits (
NF4) y optimizadores paginados en PyTorch (bitsandbytesoUnsloth), permitiendo entrenar modelos de 7B–14B en una sola GPU con 12–16 GB de VRAM o de 32B en 24 GB. - Dos formas de usarlo en inferencia local:
- Carga dinámica (Hot-swapping): Motores como ExLlamaV3,
llama.cppo vLLM permiten montar y desmontar distintos adaptadores LoRA en caliente sobre el mismo modelo base cargado en VRAM. - Fusión (Merge): Sumar matemáticamente para exportar un modelo independiente con cero penalización de velocidad en inferencia (paso previo obligatorio antes de cuantizar a EXL3 o GGUF).
- Carga dinámica (Hot-swapping): Motores como ExLlamaV3,