Transformers
Categoría: arquitectura framework modelos
Definición
Término que designa dos pilares distintos en IA local:
- La arquitectura de red neuronal (“Attention Is All You Need”, 2017) basada en mecanismos de autoatención que sustenta prácticamente todos los LLM modernos.
- La biblioteca
transformersde Hugging Face, el marco de referencia en Python sobre PyTorch para cargar, ejecutar y entrenar modelos preentrenados.
Puntos clave
- 1. Como Arquitectura Neuronal (cómo está construido un LLM moderno):
- Variante Decoder-Only: Aunque el diseño original tenía Encoder y Decoder, los LLMs actuales (Llama, Qwen, Mistral, DeepSeek) apilan únicamente bloques Decoder causales (cada token solo atiende a los anteriores).
- Componentes modernos de cada capa (Bloque Llama-style):
- Pre-Normalización (
RMSNorm): Normaliza las activaciones antes de entrar a la atención y al MLP para estabilizar el entrenamiento y acelerar el cómputo respecto al antiguoLayerNorm. - Autoatención (Self-Attention +
RoPE): Calcula qué tokens previos son relevantes para el token actual, inyectando la posición relativa mediante RoPE (Rotary Position Embeddings), almacenando resultados en el KV Cache y acelerándose con FlashAttention. - Red Feed-Forward (
MLPconSwiGLU): Proyecta los vectores a una dimensión mayor (gate_proj,up_proj,down_proj) aplicando funciones de activación no lineales; aquí reside gran parte del conocimiento factual memorizado por el modelo.
- Pre-Normalización (
- 2. Como Biblioteca Python (
pip install transformers):- Clases
Auto*:AutoModelForCausalLMyAutoTokenizerdetectan automáticamente la arquitectura leyendo el archivoconfig.jsondel modelo y cargan los pesos desde archivossafetensors. - Gestión de memoria al cargar: En IA local es clave pasar
device_map="auto"(víaaccelerate) ytorch_dtype=torch.bfloat16(ofloat16) para evitar que PyTorch cargue el modelo primero enfloat32sobre la CPU saturando la RAM del sistema antes de moverlo a VRAM. - Rol en el ecosistema local: Aunque
transformerses el estándar de referencia para compatibilidad absoluta, pruebas y entrenamiento con LoRA/QLoRA, en producción o uso diario suele reemplazarse por motores de inferencia especializados en C++/CUDA como ExLlamaV3,llama.cpp(GGUF) o vLLM, que son mucho más rápidos y eficientes en memoria.
- Clases