Inferencia
Categoría: inferencia fundamentos arquitectura
Definición
Fase operativa en la que una Red Neuronal ya entrenada (LLM) recibe datos nuevos (prompt) y ejecuta únicamente el paso hacia adelante (Forward Pass) para calcular predicciones o generar tokens de salida. A diferencia del entrenamiento, los pesos permanecen congelados y no se calculan gradientes.
Puntos clave
- Las 2 fases físicas en la GPU (cuellos de botella opuestos):
- 1. Prefill (Prompt Processing): El modelo lee y procesa todos los tokens de entrada en paralelo en una sola pasada matricial para construir el KV Cache inicial. Es limitada por cómputo (compute-bound): aquí trabajan al 100% los Tensor Cores y la velocidad depende de los FLOPS de la GPU.
- 2. Decoding (Token Generation): El modelo genera la respuesta de forma autorregresiva (un token a la vez); cada nuevo token requiere leer todos los pesos del modelo y el KV Cache desde la memoria. Es limitada por ancho de banda (memory-bandwidth bound): aquí los Tensor Cores pasan la mayor parte del tiempo esperando datos, y la velocidad depende casi exclusivamente de los GB/s de la VRAM.
- Métricas clave de ingeniería para evaluar un motor local:
- TTFT (Time To First Token): Tiempo desde que envías el prompt hasta que aparece el primer token de respuesta (mide la velocidad de Prefill + Tokenización).
- ITL (Inter-Token Latency) / TPOT (Time Per Output Token): Milisegundos que tarda en generarse cada token subsecuente (su inverso es la métrica popular tokens/segundo).
- Throughput (tokens/s totales): Capacidad agregada al atender múltiples usuarios o agentes en paralelo (especialidad de vLLM).
- Por qué consume mucha menos VRAM que entrenar:
- En PyTorch se ejecuta bajo
torch.inference_mode()(otorch.no_grad()), lo que evita guardar activaciones intermedias para retropropagación y elimina los estados del optimizador. - Esto permite comprimir los pesos agresivamente a baja precisión (EXL3, GGUF) sin preocuparse por la estabilidad numérica de los gradientes.
- En PyTorch se ejecuta bajo
- Decodificación especulativa (Speculative Decoding): Técnica avanzada soportada por ExLlamaV3 (TabbyAPI) y
llama.cppdonde un modelo borrador ultra pequeño (Draft Model, ej. 0.5B) propone varios tokens seguidos y el modelo principal (ej. 32B) los verifica todos en paralelo en un solo paso de Prefill, saltándose el límite de ancho de banda de memoria.