Microsoft

Categoría: empresas ecosistema modelos herramientas

Definición

Corporación tecnológica estadounidense con un rol dual en el ecosistema de IA: por un lado es el principal socio financiero y de infraestructura en la nube (Azure) de OpenAI, y por otro es un actor clave en investigación de modelos pequeños eficientes (SLMs), Cuantización extrema y herramientas de ejecución local.

Puntos clave

  • Investigación de alto impacto para hardware local limitado:
    • Familia Phi (Small Language Models): Demostró que modelos muy pequeños (1.5B, 3.8B, 7B, 14B) entrenados con datos sintéticos de altísima calidad (“Textbooks Are All You Need”) pueden igualar en razonamiento lógico y código a modelos 5 o 10 veces más grandes, ideales para GPUs con poca VRAM o laptops.
    • BitNet (1.58-bit LLMs): Investigación pionera sobre cuantización nativa durante el entrenamiento (QAT) donde los Pesos toman solo tres valores (-1, 0, +1), eliminando multiplicaciones de coma flotante y permitiendo correr modelos grandes directamente en CPU a altísima velocidad.
    • LoRA (Low-Rank Adaptation): Técnica inventada por investigadores de Microsoft en 2021 que hoy es el estándar universal para hacer Fine-Tuning en local.
  • Infraestructura y estándares de ejecución:
    • ONNX / ONNX Runtime y DirectML: Formatos y motores estándar para desplegar modelos multiplataforma aprovechando GPUs y NPUs sin depender exclusivamente de CUDA.
    • DeepSpeed: Biblioteca fundamental para entrenamiento distribuido y optimización de memoria (ZeRO) en sistemas multi-GPU en Linux.
    • AutoGen: Framework pionero en la orquestación de múltiples agentes conversacionales colaborativos.