Inferencia

Categoría: inferencia fundamentos arquitectura

Definición

Fase operativa en la que una Red Neuronal ya entrenada (LLM) recibe datos nuevos (prompt) y ejecuta únicamente el paso hacia adelante (Forward Pass) para calcular predicciones o generar tokens de salida. A diferencia del entrenamiento, los pesos permanecen congelados y no se calculan gradientes.

Puntos clave

  • Las 2 fases físicas en la GPU (cuellos de botella opuestos):
    • 1. Prefill (Prompt Processing): El modelo lee y procesa todos los tokens de entrada en paralelo en una sola pasada matricial para construir el KV Cache inicial. Es limitada por cómputo (compute-bound): aquí trabajan al 100% los Tensor Cores y la velocidad depende de los FLOPS de la GPU.
    • 2. Decoding (Token Generation): El modelo genera la respuesta de forma autorregresiva (un token a la vez); cada nuevo token requiere leer todos los pesos del modelo y el KV Cache desde la memoria. Es limitada por ancho de banda (memory-bandwidth bound): aquí los Tensor Cores pasan la mayor parte del tiempo esperando datos, y la velocidad depende casi exclusivamente de los GB/s de la VRAM.
  • Métricas clave de ingeniería para evaluar un motor local:
    • TTFT (Time To First Token): Tiempo desde que envías el prompt hasta que aparece el primer token de respuesta (mide la velocidad de Prefill + Tokenización).
    • ITL (Inter-Token Latency) / TPOT (Time Per Output Token): Milisegundos que tarda en generarse cada token subsecuente (su inverso es la métrica popular tokens/segundo).
    • Throughput (tokens/s totales): Capacidad agregada al atender múltiples usuarios o agentes en paralelo (especialidad de vLLM).
  • Por qué consume mucha menos VRAM que entrenar:
    • En PyTorch se ejecuta bajo torch.inference_mode() (o torch.no_grad()), lo que evita guardar activaciones intermedias para retropropagación y elimina los estados del optimizador.
    • Esto permite comprimir los pesos agresivamente a baja precisión (EXL3, GGUF) sin preocuparse por la estabilidad numérica de los gradientes.
  • Decodificación especulativa (Speculative Decoding): Técnica avanzada soportada por ExLlamaV3 (TabbyAPI) y llama.cpp donde un modelo borrador ultra pequeño (Draft Model, ej. 0.5B) propone varios tokens seguidos y el modelo principal (ej. 32B) los verifica todos en paralelo en un solo paso de Prefill, saltándose el límite de ancho de banda de memoria.