DeepSeek

Categoría: empresas ecosistema modelos arquitectura

Definición

Laboratorio chino de investigación en IA (respaldado por el fondo cuantitativo High-Flyer) que revolucionó el ecosistema de pesos abiertos al publicar modelos de frontera bajo licencias permisivas (MIT) entrenados con una fracción del presupuesto de cómputo occidental gracias a innovaciones radicales de eficiencia arquitectónica.

Puntos clave

  • Innovaciones arquitectónicas que cambiaron la ingeniería local:
    • MLA (Multi-Head Latent Attention): Introducida en DeepSeek-V2/V3; comprime el KV Cache en un vector latente de baja dimensión, reduciendo en más de un 90% la memoria necesaria para ventanas de contexto largas.
    • DeepSeekMoE (Mixture of Experts de grano fino): Divide las capas Feed-Forward en decenas de expertos pequeños más expertos compartidos siempre activos, logrando modelos masivos (ej. 671B totales con solo 37B activos por Token) con alto rendimiento.
    • Entrenamiento nativo en FP8 y predicción multi-token (MTP): Demostró que es viable preentrenar modelos gigantescos en precisión de 8 bits en lugar de BF16 sin pérdida de estabilidad.
  • Hito DeepSeek-R1 y destilación:
    • Publicó el primer modelo de razonamiento abierto equiparable a los modelos cerrados de frontera, detallando el algoritmo GRPO (Group Relative Policy Optimization) para entrenar razonamiento puro sin necesidad de un modelo crítico pesado.
    • Liberó versiones destiladas (1.5B, 7B, 8B, 14B, 32B, 70B) transfiriendo patrones de razonamiento hacia arquitecturas densas de Qwen y Llama, convirtiéndose en pilares del uso local en GPUs de consumo.