Microsoft
Categoría: empresas ecosistema modelos herramientas
Definición
Corporación tecnológica estadounidense con un rol dual en el ecosistema de IA: por un lado es el principal socio financiero y de infraestructura en la nube (Azure) de OpenAI, y por otro es un actor clave en investigación de modelos pequeños eficientes (SLMs), Cuantización extrema y herramientas de ejecución local.
Puntos clave
- Investigación de alto impacto para hardware local limitado:
- Familia Phi (Small Language Models): Demostró que modelos muy pequeños (1.5B, 3.8B, 7B, 14B) entrenados con datos sintéticos de altísima calidad (“Textbooks Are All You Need”) pueden igualar en razonamiento lógico y código a modelos 5 o 10 veces más grandes, ideales para GPUs con poca VRAM o laptops.
- BitNet (
1.58-bitLLMs): Investigación pionera sobre cuantización nativa durante el entrenamiento (QAT) donde los Pesos toman solo tres valores (-1, 0, +1), eliminando multiplicaciones de coma flotante y permitiendo correr modelos grandes directamente en CPU a altísima velocidad. - LoRA (Low-Rank Adaptation): Técnica inventada por investigadores de Microsoft en 2021 que hoy es el estándar universal para hacer Fine-Tuning en local.
- Infraestructura y estándares de ejecución:
- ONNX / ONNX Runtime y DirectML: Formatos y motores estándar para desplegar modelos multiplataforma aprovechando GPUs y NPUs sin depender exclusivamente de CUDA.
- DeepSpeed: Biblioteca fundamental para entrenamiento distribuido y optimización de memoria (
ZeRO) en sistemas multi-GPU en Linux. - AutoGen: Framework pionero en la orquestación de múltiples agentes conversacionales colaborativos.