Pesos

Categoría: arquitectura fundamentos modelos

Definición

Conjunto de valores numéricos aprendibles (matrices y tensores de números reales) almacenados dentro de una Red Neuronal. Representan el “conocimiento” adquirido durante el entrenamiento: determinan la fuerza y dirección de cada conexión entre neuronas para transformar los datos de entrada en predicciones durante la Inferencia.

Puntos clave

  • Qué son físicamente en tu computadora:
    • Un modelo de IA no es código fuente complejo; el código de arquitectura de un Transformers ocupa apenas unas cientos de líneas en Python/C++. El archivo de decenas de gigabytes que descargas de Hugging Face son casi exclusivamente sus pesos organizados como tensores nombrados (ej. model.layers.0.self_attn.q_proj.weight).
    • Cuando se habla de un modelo “7B”, “32B” o “70B”, la letra B (Billions en inglés = miles de millones) indica literalmente la cantidad total de pesos (parámetros) que contiene.
  • Fórmula directa de consumo de VRAM (Parámetros × Precisión):
    • Precisión completa (FP32 - 4 bytes/peso): 7B × 4 bytes ≈ 28 GB (solo para entrenamiento clásico).
    • Media precisión (FP16 / BF16 - 2 bytes/peso): 7B × 2 bytes ≈ 14 GB (estándar original sin comprimir).
    • Cuantizado a 8 bits (FP8 / Q8_0 - 1 byte/peso): 7B × 1 byte ≈ 7 GB (calidad prácticamente idéntica al original).
    • Cuantizado a 4 bits (EXL3 / GGUF Q4_K_M - ~0.5 bytes/peso): 7B × 0.5 bytes ≈ 3.5–4.2 GB (incluyendo metadatos y factores de escala).
  • Formatos de archivo en disco en IA local:
    • safetensors: Estándar seguro y rápido para pesos sin cuantizar (BF16/FP8) y adaptadores LoRA. Permite mapeo directo a memoria sin riesgo de ejecución de código arbitrario (a diferencia de los viejos .bin / .pt de PyTorch).
    • GGUF y EXL3: Formatos empaquetados y cuantizados optimizados para lectura rápida hacia GPU/CPU.
  • Pesos congelados vs. Pesos entrenables:
    • En Inferencia y durante ajuste fino con LoRA/QLoRA, los pesos base permanecen congelados (solo lectura). El aprendizaje ocurre únicamente en los pesos pequeños de las matrices adaptadoras externas, lo que evita el olvido catastrófico y permite compartir un mismo archivo de pesos base entre decenas de tareas distintas.