Llama

Categoría: modelos locales open-weights

Definición

Familia fundacional de LLM de pesos abiertos creada por Meta (FAIR). Fue la catalizadora de todo el ecosistema moderno de IA local; su arquitectura interna (Decoder-only con RMSNorm, SwiGLU, RoPE y GQA) es el molde estándar soportado nativamente desde el primer día por ExLlamaV3, llama.cpp y vLLM.

Variantes y tamaños principales

  • Serie Llama 4 (Arquitectura MoE Multimodal Nativa):
    • Llama 4 Scout (109B totales / 17B activos, 16 expertos): Diseñado para caber en una sola GPU de servidor (o estaciones locales de gran memoria) con una Context Window masiva de hasta 10M de tokens.
    • Llama 4 Maverick (400B totales / 17B activos, 128 expertos): Modelo de frontera abierto para razonamiento complejo, código y comprensión visual.
  • Serie Llama 3 / 3.1 / 3.2 / 3.3 (Densos):
    • 1B y 3B (Llama 3.2): Ideales para ejecución en CPU, dispositivos móviles o modelos borrador (Draft Models) en Speculative Decoding.
    • 8B (Llama 3.1): El estándar clásico de referencia para GPUs de 8 GB de VRAM.
    • 70B (Llama 3.3): Modelo denso de altísima calidad muy popular en GPUs duales (2× RTX 3090/4090) cuantizado en EXL3 o GGUF.