DeepSeek
Categoría: empresas ecosistema modelos arquitectura
Definición
Laboratorio chino de investigación en IA (respaldado por el fondo cuantitativo High-Flyer) que revolucionó el ecosistema de pesos abiertos al publicar modelos de frontera bajo licencias permisivas (MIT) entrenados con una fracción del presupuesto de cómputo occidental gracias a innovaciones radicales de eficiencia arquitectónica.
Puntos clave
- Innovaciones arquitectónicas que cambiaron la ingeniería local:
- MLA (Multi-Head Latent Attention): Introducida en DeepSeek-V2/V3; comprime el KV Cache en un vector latente de baja dimensión, reduciendo en más de un 90% la memoria necesaria para ventanas de contexto largas.
- DeepSeekMoE (Mixture of Experts de grano fino): Divide las capas Feed-Forward en decenas de expertos pequeños más expertos compartidos siempre activos, logrando modelos masivos (ej. 671B totales con solo 37B activos por Token) con alto rendimiento.
- Entrenamiento nativo en
FP8y predicción multi-token (MTP): Demostró que es viable preentrenar modelos gigantescos en precisión de 8 bits en lugar deBF16sin pérdida de estabilidad.
- Hito DeepSeek-R1 y destilación:
- Publicó el primer modelo de razonamiento abierto equiparable a los modelos cerrados de frontera, detallando el algoritmo GRPO (Group Relative Policy Optimization) para entrenar razonamiento puro sin necesidad de un modelo crítico pesado.
- Liberó versiones destiladas (1.5B, 7B, 8B, 14B, 32B, 70B) transfiriendo patrones de razonamiento hacia arquitecturas densas de Qwen y Llama, convirtiéndose en pilares del uso local en GPUs de consumo.