Fine-Tuning

Categoría: entrenamiento fine-tuning modelos

Definición

Proceso de tomar un Modelo ya preentrenado y continuar su entrenamiento sobre un conjunto de datos más pequeño y especializado para adaptar su comportamiento, estilo, formato de salida o dominio técnico, evitando el costo prohibitivo de entrenarlo desde cero.

Puntos clave

  • Modalidades técnicas según el consumo de VRAM:
    • Full Fine-Tuning (FFT): Actualiza el 100% de los Pesos del modelo. Exige almacenar pesos, gradientes y estados del optimizador en BF16/FP32 (requiere ~16–20 bytes de VRAM por parámetro; inviables en GPUs domésticas para modelos > 3B).
    • PEFT (LoRA / QLoRA): Congela los pesos base y entrena solo adaptadores matriciales ligeros, reduciendo el consumo de memoria más de un 70% y evitando el olvido catastrófico (pérdida de capacidades generales).
  • Etapas modernas dentro del ciclo de vida de un LLM:
    • SFT (Supervised Fine-Tuning): Entrenamiento supervisado con pares ideales de (prompt, respuesta) para enseñar formato de chat, seguimiento de instrucciones o esquemas JSON.
    • Alineamiento por preferencias (DPO, GRPO, RLHF): Refina el modelo comparando respuestas buenas frente a malas o premiando resultados verificables (clave en modelos de razonamiento matemático y código).
  • Cuándo usar Fine-Tuning vs. RAG en local:
    • Usa Fine-Tuning para cambiar cómo habla o actúa el modelo (tono, sintaxis propietaria, precisión en Tool Calling, tareas repetitivas de clasificación).
    • Usa RAG para darle conocimiento nuevo o cambiante (manuales, bases de datos, documentos privados).