Tokenización
Categoría: arquitectura fundamentos #inferencia
Definición
Proceso determinista de preprocesamiento y posprocesamiento de texto que traduce una cadena de caracteres legible por humanos en una secuencia de IDs enteros indexados en el Vocabulario del modelo (encoding), y viceversa (decoding). A diferencia de la inferencia del LLM, el tokenizado se ejecuta 100% en CPU.
Puntos clave
- El pipeline técnico en 4 etapas (cómo pasa tu prompt a la GPU):
- Normalización: Limpieza opcional de caracteres Unicode (ej. convertir acentos o espacios especiales a formato estándar NFC/NFKC).
- Pretokenización: Divide el texto crudo en bloques iniciales usando expresiones regulares (regex), separando por espacios, signos de puntuación y dígitos individuales para evitar que el algoritmo fusione palabras entre sí de forma absurda.
- Algoritmo de subpalabras (Subword Splitting):
- Byte-Level BPE (Byte-Pair Encoding): Estándar actual (Llama 3, Qwen, DeepSeek, GPT). Trabaja directamente sobre bytes UTF-8 crudos (base de 256 bytes), lo que garantiza que nunca exista el error de token desconocido (
<unk>) ante cualquier emoji, idioma o carácter raro. - SentencePiece (Unigram / BPE): Trata el texto como un flujo continuo sin asumir espacios entre palabras (representando el espacio como
), muy usado en Gemma y Mistral clásico.
- Byte-Level BPE (Byte-Pair Encoding): Estándar actual (Llama 3, Qwen, DeepSeek, GPT). Trabaja directamente sobre bytes UTF-8 crudos (base de 256 bytes), lo que garantiza que nunca exista el error de token desconocido (
- Posprocesamiento: Inyecta automáticamente los tokens especiales de control (
BOS, plantilla de chat<|im_start|>user, etc.) antes de entregar el tensor de IDs a PyTorch / CUDA.
- Trampas prácticas que afectan la calidad en IA local:
- Números y aritmética: La forma en que el tokenizador corta los dígitos define qué tan bien calcula un modelo. Los tokenizadores modernos (Llama 3, Qwen) fuerzan el corte de números en grupos de 1 a 3 dígitos (
12345→123+45), evitando que un número largo sea un único token opaco. - Espacios iniciales (
Leading spaces): Para un tokenizador,"hola"y" hola"tienen IDs completamente distintos. Dejar un espacio suelto al final de un prompt ("La capital es ") altera la distribución de probabilidades y suele degradar la predicción del siguiente token. - Eficiencia en código y JSON: Los tokenizadores entrenados con fuerte presencia de código agrupan indentaciones múltiples (4 espacios o tabulaciones) en un solo token, ahorrando hasta un 30% de KV Cache al procesar archivos fuente.
- Números y aritmética: La forma en que el tokenizador corta los dígitos define qué tan bien calcula un modelo. Los tokenizadores modernos (Llama 3, Qwen) fuerzan el corte de números en grupos de 1 a 3 dígitos (
- Ecosistema en Linux (
tokenizersvs.tiktoken): La bibliotecatokenizersde Hugging Face está escrita en Rust (por eso es casi instantánea en CPU y aparece como Fast Tokenizer). En motores como ExLlamaV3 ollama.cpp, el tokenizador va integrado en C++/Python para evitar dependencias pesadas.