FlashAttention

Categoría: arquitectura inferencia entrenamiento optimizacion

Definición

Algoritmo exacto y consciente del hardware (IO-Aware) para calcular el mecanismo de atención de los Transformers (LLM). A diferencia de los métodos de aproximación, entrega el mismo resultado matemático exacto que la atención estándar, pero multiplicando la velocidad entre 2x y 4x y reduciendo el consumo de memoria de cuadrático a lineal respecto a la longitud del contexto.

Puntos clave

  • El problema que resuelve (Cuello de botella de memoria HBM):
    • La atención estándar materializa una gigantesca matriz intermedia de atención () en la VRAM principal de la GPU (HBM), haciendo constantes lecturas y escrituras lentas.
    • FlashAttention divide las matrices , y en pequeños bloques (tiling) que caben dentro de la SRAM ultra rápida (memoria caché en chip) de los Streaming Multiprocessors de la GPU, fusionando todo el cálculo (kernel fusion) sin escribir jamás la matriz completa en la VRAM.
  • Impacto crítico en IA local:
    • Ventanas de contexto largas: Evita picos explosivos de VRAM al procesar prompts de 32k, 64k o 128k tokens durante la fase de Prefill y durante el entrenamiento con LoRA/QLoRA.
    • Sin pérdida de precisión: Al usar online softmax, no sacrifica ni una décima de calidad en las respuestas del modelo.
  • Evolución de versiones según tu GPU NVIDIA:
    • FlashAttention-2: Estándar universal para arquitecturas Ampere (RTX 30), Ada Lovelace (RTX 40) y Blackwell (RTX 50).
    • FlashAttention-3: Optimizado específicamente para arquitecturas Hopper (H100) y posteriores aprovechando asincronía de Tensor Cores y soporte nativo FP8.
  • Consideraciones de instalación en Linux:
    • Viene integrado de forma nativa en PyTorch moderno (torch.nn.functional.scaled_dot_product_attention / SDPA), en llama.cpp (flag -fa / --flash-attn), ExLlamaV3 y vLLM.
    • Si necesitas instalar el paquete flash-attn manualmente en un entorno Python, compilarlo desde fuente exige mucha RAM del sistema (puede consumir 32–64 GB de RAM si usa todos los hilos de CPU); en Linux conviene limitar los trabajos de compilación con MAX_JOBS=4 pip install flash-attn --no-build-isolation o descargar ruedas precompiladas (.whl).