Tokenización

Categoría: arquitectura fundamentos #inferencia

Definición

Proceso determinista de preprocesamiento y posprocesamiento de texto que traduce una cadena de caracteres legible por humanos en una secuencia de IDs enteros indexados en el Vocabulario del modelo (encoding), y viceversa (decoding). A diferencia de la inferencia del LLM, el tokenizado se ejecuta 100% en CPU.

Puntos clave

  • El pipeline técnico en 4 etapas (cómo pasa tu prompt a la GPU):
    1. Normalización: Limpieza opcional de caracteres Unicode (ej. convertir acentos o espacios especiales a formato estándar NFC/NFKC).
    2. Pretokenización: Divide el texto crudo en bloques iniciales usando expresiones regulares (regex), separando por espacios, signos de puntuación y dígitos individuales para evitar que el algoritmo fusione palabras entre sí de forma absurda.
    3. Algoritmo de subpalabras (Subword Splitting):
      • Byte-Level BPE (Byte-Pair Encoding): Estándar actual (Llama 3, Qwen, DeepSeek, GPT). Trabaja directamente sobre bytes UTF-8 crudos (base de 256 bytes), lo que garantiza que nunca exista el error de token desconocido (<unk>) ante cualquier emoji, idioma o carácter raro.
      • SentencePiece (Unigram / BPE): Trata el texto como un flujo continuo sin asumir espacios entre palabras (representando el espacio como ), muy usado en Gemma y Mistral clásico.
    4. Posprocesamiento: Inyecta automáticamente los tokens especiales de control (BOS, plantilla de chat <|im_start|>user, etc.) antes de entregar el tensor de IDs a PyTorch / CUDA.
  • Trampas prácticas que afectan la calidad en IA local:
    • Números y aritmética: La forma en que el tokenizador corta los dígitos define qué tan bien calcula un modelo. Los tokenizadores modernos (Llama 3, Qwen) fuerzan el corte de números en grupos de 1 a 3 dígitos (12345 → 123 + 45), evitando que un número largo sea un único token opaco.
    • Espacios iniciales (Leading spaces): Para un tokenizador, "hola" y " hola" tienen IDs completamente distintos. Dejar un espacio suelto al final de un prompt ("La capital es ") altera la distribución de probabilidades y suele degradar la predicción del siguiente token.
    • Eficiencia en código y JSON: Los tokenizadores entrenados con fuerte presencia de código agrupan indentaciones múltiples (4 espacios o tabulaciones) en un solo token, ahorrando hasta un 30% de KV Cache al procesar archivos fuente.
  • Ecosistema en Linux (tokenizers vs. tiktoken): La biblioteca tokenizers de Hugging Face está escrita en Rust (por eso es casi instantánea en CPU y aparece como Fast Tokenizer). En motores como ExLlamaV3 o llama.cpp, el tokenizador va integrado en C++/Python para evitar dependencias pesadas.