Token
Categoría: arquitectura fundamentos #inferencia
Definición
Unidad mínima discreta de información que procesa y genera un LLM. Un token no equivale necesariamente a una palabra: puede ser una palabra completa, una subpalabra (raíz o prefijo), un carácter individual, un signo de puntuación, un espacio o un código de control especial. Internamente, para la Red Neuronal, cada token es simplemente un número entero (ID) indexado en un diccionario fijo llamado vocabulario.
Puntos clave
- Cómo se divide el texto (Subword Tokenization):
- Los modelos modernos usan algoritmos como BPE (Byte-Pair Encoding, estándar en GPT, Llama 3, Qwen, DeepSeek) o Unigram / SentencePiece (Gemma, Mistral).
- Regla empírica de conversión: En inglés, 100 tokens ≈ 75 palabras (~1.3 tokens/palabra). En español o código fuente, la fragmentación es mayor: 100 tokens ≈ 50–60 palabras (~1.7–2 tokens/palabra), lo que significa que un mismo texto en español consume más ventana de contexto y más KV Cache que en inglés.
- Impacto directo en la arquitectura y la VRAM:
- Tamaño del vocabulario (
vocab_size): Los LLMs modernos pasaron de vocabularios de 32k tokens (Llama 2) a 128k–152k tokens (Llama 3, Qwen). Un vocabulario más grande comprime mejor el texto (genera respuestas más rápido porque necesita menos pasos), pero hace más pesadas la capa de Embeddings inicial y la capa final (lm_head), las cuales nunca deben cuantizarse agresivamente.
- Tamaño del vocabulario (
- Tokens especiales (Special Tokens) y Chat Templates:
- Son IDs reservados que controlan la estructura de la conversación y detienen la generación, como
<|begin_of_text|>,<|im_start|>,<|im_end|>,<think>oEOS(End of Sequence). - Bug clásico en IA local: Si el motor de inferencia (TabbyAPI,
llama.cpp, vLLM) no tiene configurado el Stop Token (EOS) correcto de la plantilla del modelo, el LLM entrará en un bucle infinito hablando solo o inventando turnos del usuario.
- Son IDs reservados que controlan la estructura de la conversación y detienen la generación, como
- Métricas estándar de rendimiento en IA local:
- PP (Prompt Processing / Prefill, en
tokens/s): Velocidad a la que el modelo lee tu entrada en paralelo (depende de los Tensor Cores). - TG (Token Generation / Decoding, en
tokens/s): Velocidad a la que el modelo escribe la respuesta token por token (depende del ancho de banda de la VRAM). Lectura humana cómoda ≈ 10–15 tokens/s.
- PP (Prompt Processing / Prefill, en