Pesos
Categoría: arquitectura fundamentos modelos
Definición
Conjunto de valores numéricos aprendibles (matrices y tensores de números reales) almacenados dentro de una Red Neuronal. Representan el “conocimiento” adquirido durante el entrenamiento: determinan la fuerza y dirección de cada conexión entre neuronas para transformar los datos de entrada en predicciones durante la Inferencia.
Puntos clave
- Qué son físicamente en tu computadora:
- Un modelo de IA no es código fuente complejo; el código de arquitectura de un Transformers ocupa apenas unas cientos de líneas en Python/C++. El archivo de decenas de gigabytes que descargas de Hugging Face son casi exclusivamente sus pesos organizados como tensores nombrados (ej.
model.layers.0.self_attn.q_proj.weight). - Cuando se habla de un modelo “7B”, “32B” o “70B”, la letra B (Billions en inglés = miles de millones) indica literalmente la cantidad total de pesos (parámetros) que contiene.
- Un modelo de IA no es código fuente complejo; el código de arquitectura de un Transformers ocupa apenas unas cientos de líneas en Python/C++. El archivo de decenas de gigabytes que descargas de Hugging Face son casi exclusivamente sus pesos organizados como tensores nombrados (ej.
- Fórmula directa de consumo de VRAM (
Parámetros × Precisión):- Precisión completa (
FP32- 4 bytes/peso):7B × 4 bytes≈ 28 GB (solo para entrenamiento clásico). - Media precisión (
FP16/BF16- 2 bytes/peso):7B × 2 bytes≈ 14 GB (estándar original sin comprimir). - Cuantizado a 8 bits (
FP8/Q8_0- 1 byte/peso):7B × 1 byte≈ 7 GB (calidad prácticamente idéntica al original). - Cuantizado a 4 bits (EXL3 / GGUF
Q4_K_M- ~0.5 bytes/peso):7B × 0.5 bytes≈ 3.5–4.2 GB (incluyendo metadatos y factores de escala).
- Precisión completa (
- Formatos de archivo en disco en IA local:
safetensors: Estándar seguro y rápido para pesos sin cuantizar (BF16/FP8) y adaptadores LoRA. Permite mapeo directo a memoria sin riesgo de ejecución de código arbitrario (a diferencia de los viejos.bin/.ptde PyTorch).- GGUF y EXL3: Formatos empaquetados y cuantizados optimizados para lectura rápida hacia GPU/CPU.
- Pesos congelados vs. Pesos entrenables:
- En Inferencia y durante ajuste fino con LoRA/QLoRA, los pesos base permanecen congelados (solo lectura). El aprendizaje ocurre únicamente en los pesos pequeños de las matrices adaptadoras externas, lo que evita el olvido catastrófico y permite compartir un mismo archivo de pesos base entre decenas de tareas distintas.