Transformers

Categoría: arquitectura framework modelos

Definición

Término que designa dos pilares distintos en IA local:

  1. La arquitectura de red neuronal (“Attention Is All You Need”, 2017) basada en mecanismos de autoatención que sustenta prácticamente todos los LLM modernos.
  2. La biblioteca transformers de Hugging Face, el marco de referencia en Python sobre PyTorch para cargar, ejecutar y entrenar modelos preentrenados.

Puntos clave

  • 1. Como Arquitectura Neuronal (cómo está construido un LLM moderno):
    • Variante Decoder-Only: Aunque el diseño original tenía Encoder y Decoder, los LLMs actuales (Llama, Qwen, Mistral, DeepSeek) apilan únicamente bloques Decoder causales (cada token solo atiende a los anteriores).
    • Componentes modernos de cada capa (Bloque Llama-style):
      • Pre-Normalización (RMSNorm): Normaliza las activaciones antes de entrar a la atención y al MLP para estabilizar el entrenamiento y acelerar el cómputo respecto al antiguo LayerNorm.
      • Autoatención (Self-Attention + RoPE): Calcula qué tokens previos son relevantes para el token actual, inyectando la posición relativa mediante RoPE (Rotary Position Embeddings), almacenando resultados en el KV Cache y acelerándose con FlashAttention.
      • Red Feed-Forward (MLP con SwiGLU): Proyecta los vectores a una dimensión mayor (gate_proj, up_proj, down_proj) aplicando funciones de activación no lineales; aquí reside gran parte del conocimiento factual memorizado por el modelo.
  • 2. Como Biblioteca Python (pip install transformers):
    • Clases Auto*: AutoModelForCausalLM y AutoTokenizer detectan automáticamente la arquitectura leyendo el archivo config.json del modelo y cargan los pesos desde archivos safetensors.
    • Gestión de memoria al cargar: En IA local es clave pasar device_map="auto" (vía accelerate) y torch_dtype=torch.bfloat16 (o float16) para evitar que PyTorch cargue el modelo primero en float32 sobre la CPU saturando la RAM del sistema antes de moverlo a VRAM.
    • Rol en el ecosistema local: Aunque transformers es el estándar de referencia para compatibilidad absoluta, pruebas y entrenamiento con LoRA/QLoRA, en producción o uso diario suele reemplazarse por motores de inferencia especializados en C++/CUDA como ExLlamaV3, llama.cpp (GGUF) o vLLM, que son mucho más rápidos y eficientes en memoria.