vLLM
Categoría: #inferencia motores servidores infraestructura
Definición
Motor de inferencia y servidor de alto rendimiento de código abierto diseñado para desplegar LLM en producción o localmente con máximo rendimiento (throughput). Expone una API compatible con el estándar de OpenAI y destaca por su gestión eficiente de la VRAM.
Puntos clave
- Innovación central (
PagedAttention): Inspirado en la memoria virtual y paginación de los sistemas operativos. Divide el KV Cache en bloques no contiguos en la VRAM, eliminando la fragmentación de memoria (que antes desperdiciaba hasta un 60–80% de la memoria reservada) y permitiendo compartir prefijos entre múltiples peticiones (Automatic Prefix Caching). - Procesamiento por lotes continuo (Continuous Batching): A diferencia de los motores tradicionales que esperan a que termine la respuesta más larga de un lote para liberar la GPU, vLLM inserta nuevas peticiones e inmediatamente libera las terminadas en cada iteración de token.
- Cuándo elegir vLLM vs. ExLlamaV3 /
llama.cppen local:- Gana vLLM: Cuando necesitas servir múltiples peticiones concurrentes (agentes paralelos, varios usuarios, pipelines de extracción masiva de datos) o escalar un modelo grande dividiéndolo en varias GPUs mediante Tensor Parallelism (
--tensor-parallel-size 2). - Pierde vLLM (ganan ExLlamaV3 / GGUF): Para un solo usuario interactivo en una sola GPU con VRAM ajustada, vLLM reserva por defecto el 90% de la VRAM (
--gpu-memory-utilization 0.9) al arrancar y tiene mayor sobrecarga inicial; además, no soporta descarga híbrida eficiente a CPU/RAM comollama.cpp.
- Gana vLLM: Cuando necesitas servir múltiples peticiones concurrentes (agentes paralelos, varios usuarios, pipelines de extracción masiva de datos) o escalar un modelo grande dividiéndolo en varias GPUs mediante Tensor Parallelism (
- Formatos de cuantización soportados: Soporta modelos nativos
FP16/BF16de Hugging Face,FP8(en GPUs NVIDIA Ada/Hopper/Blackwell),AWQ,GPTQy soporte experimental/parcial para GGUF. - Compatibilidad multi-hardware: Corre principalmente sobre CUDA (NVIDIA), pero cuenta con soporte oficial sólido para ROCm (AMD), Intel Gaudi/XPU y CPU.