Mamba

Categoría: arquitectura modelos optimizacion

Definición

Arquitectura de Red Neuronal secuencial basada en Modelos de Espacio de Estados Selectivos (Selective State Space Models / SSM) diseñada como alternativa directa a los Transformers. A diferencia de la autoatención (cuyo costo crece de forma cuadrática con la longitud del texto), Mamba procesa secuencias con complejidad lineal y mantiene un estado oculto de tamaño fijo, eliminando la necesidad de un KV Cache creciente en VRAM.

Puntos clave

  • Cómo resuelve el cuello de botella de los Transformers:
    • En un Transformer tradicional, generar el token número 50,000 obliga a leer los 49,999 vectores anteriores del KV Cache en cada paso.
    • Mamba comprime toda la historia relevante dentro de una matriz de estado recurrente de tamaño constante. Esto permite generar texto a velocidad constante (tokens/s invariables) sin importar si llevas 100 o 100,000 tokens de conversación.
  • Arquitecturas Híbridas (lo más usado hoy en IA local):
    • Los modelos SSM puros tienen una debilidad: al comprimir el pasado en un estado fijo, pierden precisión al recuperar datos literales exactos (“aguja en un pajar”, copiar códigos o citas textuales largas).
    • Para obtener lo mejor de ambos mundos, los modelos modernos combinan capas Mamba con unas pocas capas de atención tradicional (ej. 1 capa Transformer cada 7 capas Mamba), como en Jamba (AI21), Zamba, Granite 4.0 (IBM) o variantes híbridas de Qwen / Nemotron, logrando un ahorro del 70–85% en KV Cache manteniendo excelente memoria exacta.
  • Soporte en motores locales: Requiere kernels específicos (mamba-ssm, causal-conv1d en CUDA) o soporte nativo en llama.cpp (GGUF) y vLLM.