vLLM

Categoría: #inferencia motores servidores infraestructura

Definición

Motor de inferencia y servidor de alto rendimiento de código abierto diseñado para desplegar LLM en producción o localmente con máximo rendimiento (throughput). Expone una API compatible con el estándar de OpenAI y destaca por su gestión eficiente de la VRAM.

Puntos clave

  • Innovación central (PagedAttention): Inspirado en la memoria virtual y paginación de los sistemas operativos. Divide el KV Cache en bloques no contiguos en la VRAM, eliminando la fragmentación de memoria (que antes desperdiciaba hasta un 60–80% de la memoria reservada) y permitiendo compartir prefijos entre múltiples peticiones (Automatic Prefix Caching).
  • Procesamiento por lotes continuo (Continuous Batching): A diferencia de los motores tradicionales que esperan a que termine la respuesta más larga de un lote para liberar la GPU, vLLM inserta nuevas peticiones e inmediatamente libera las terminadas en cada iteración de token.
  • Cuándo elegir vLLM vs. ExLlamaV3 / llama.cpp en local:
    • Gana vLLM: Cuando necesitas servir múltiples peticiones concurrentes (agentes paralelos, varios usuarios, pipelines de extracción masiva de datos) o escalar un modelo grande dividiéndolo en varias GPUs mediante Tensor Parallelism (--tensor-parallel-size 2).
    • Pierde vLLM (ganan ExLlamaV3 / GGUF): Para un solo usuario interactivo en una sola GPU con VRAM ajustada, vLLM reserva por defecto el 90% de la VRAM (--gpu-memory-utilization 0.9) al arrancar y tiene mayor sobrecarga inicial; además, no soporta descarga híbrida eficiente a CPU/RAM como llama.cpp.
  • Formatos de cuantización soportados: Soporta modelos nativos FP16/BF16 de Hugging Face, FP8 (en GPUs NVIDIA Ada/Hopper/Blackwell), AWQ, GPTQ y soporte experimental/parcial para GGUF.
  • Compatibilidad multi-hardware: Corre principalmente sobre CUDA (NVIDIA), pero cuenta con soporte oficial sólido para ROCm (AMD), Intel Gaudi/XPU y CPU.