Fine-Tuning
Categoría: entrenamiento fine-tuning modelos
Definición
Proceso de tomar un Modelo ya preentrenado y continuar su entrenamiento sobre un conjunto de datos más pequeño y especializado para adaptar su comportamiento, estilo, formato de salida o dominio técnico, evitando el costo prohibitivo de entrenarlo desde cero.
Puntos clave
- Modalidades técnicas según el consumo de VRAM:
- Full Fine-Tuning (FFT): Actualiza el 100% de los Pesos del modelo. Exige almacenar pesos, gradientes y estados del optimizador en
BF16/FP32(requiere ~16–20 bytes de VRAM por parámetro; inviables en GPUs domésticas para modelos > 3B). - PEFT (LoRA / QLoRA): Congela los pesos base y entrena solo adaptadores matriciales ligeros, reduciendo el consumo de memoria más de un 70% y evitando el olvido catastrófico (pérdida de capacidades generales).
- Full Fine-Tuning (FFT): Actualiza el 100% de los Pesos del modelo. Exige almacenar pesos, gradientes y estados del optimizador en
- Etapas modernas dentro del ciclo de vida de un LLM:
- SFT (Supervised Fine-Tuning): Entrenamiento supervisado con pares ideales de
(prompt, respuesta)para enseñar formato de chat, seguimiento de instrucciones o esquemas JSON. - Alineamiento por preferencias (
DPO,GRPO,RLHF): Refina el modelo comparando respuestas buenas frente a malas o premiando resultados verificables (clave en modelos de razonamiento matemático y código).
- SFT (Supervised Fine-Tuning): Entrenamiento supervisado con pares ideales de
- Cuándo usar Fine-Tuning vs. RAG en local:
- Usa Fine-Tuning para cambiar cómo habla o actúa el modelo (tono, sintaxis propietaria, precisión en Tool Calling, tareas repetitivas de clasificación).
- Usa RAG para darle conocimiento nuevo o cambiante (manuales, bases de datos, documentos privados).