Strata

Categoría: motores inferencia herramientas locales

Definición

Motor de inferencia local de código abierto (escrito en C++ y Python sobre ggml por Niko Veit / Niko1221) diseñado para ejecutar LLM masivos de arquitectura Mixture of Experts (MoE) —originalmente optimizado para Qwen3.8-Flash-Next (125B parámetros)— sobre hardware doméstico estándar en Linux y Windows, combinando VRAM de GPU con RAM del sistema y exponiendo APIs locales compatibles tanto con OpenAI como con Anthropic.

Puntos clave

  • Propuesta técnica central (MoE masivos en hardware de consumo):
    • Aprovecha que en un modelo MoE solo una pequeña fracción de los Pesos se activa por cada Token generado, descargando inteligentemente los expertos inactivos en la RAM del sistema y manteniendo en la VRAM de la GPU (ej. tarjetas de 8–12 GB) las capas críticas de atención y enrutamiento.
    • Soporta cuantizaciones extremas de alta eficiencia (Q2_0, IQ2_XS, IQ3_S, UD-Q4_K_XL de ISTA-DASLab / Unsloth) y entrada visual opcional (VLM).
  • Doble API local integrada (OpenAI + Anthropic):
    • A diferencia de la mayoría de motores locales que solo emulan los endpoints de OpenAI (/v1/chat/completions), Strata levanta de forma nativa en localhost tanto la API de OpenAI como el formato nativo de mensajes de Anthropic (/v1/messages), permitiendo conectar directamente herramientas agénticas de programación como Claude Code, Cline o Open WebUI sin traductores intermedios.
  • Autoconfiguración y soporte multi-backend en Linux:
    • Incluye instalador directo (./setup.sh / app de escritorio o terminal strata launch) que detecta automáticamente tu hardware y descarga el binario compilado adecuado para NVIDIA (CUDA), AMD (ROCm / HIP), Intel (SYCL) o Apple (Metal).
  • Ecosistema derivado (PolyStrata):
    • Bifurcación (fork) muy popular en la comunidad local que extiende el motor de Strata para soportar múltiples familias MoE recientes en un mismo servidor (como DeepSeek V4 Flash, GLM 5.3 Flash, Gemma 4 26B-A4B, Qwen 3.6 y LFM2.5) con cambio de modelos en caliente.