Tokenizador

Categoría: arquitectura herramientas inferencia tokenizacion

Definición

Componente de software determinista (empaquetado junto a cada LLM) que implementa las reglas de Tokenización y almacena el Vocabulario del modelo. Su única función es ejecutar dos métodos inversos en CPU: encode(texto) → lista_de_IDs antes de la Inferencia y decode(lista_de_IDs) → texto al recibir la salida de la GPU.

Puntos clave

  • Acoplamiento estricto 1:1 con los Pesos del modelo:
    • Un tokenizador no es intercambiable entre familias de modelos distintas. Cada fila de la matriz embed_tokens y de la cabeza lm_head de una Red Neuronal fue entrenada para corresponder exactamente al índice numérico asignado por su tokenizador específico.
    • Si cargas los pesos de Llama 3 con el tokenizador de Qwen o Mistral, el modelo recibirá IDs absurdos y generará texto completamente incoherente (gibberish).
  • Qué archivos físicos lo componen en un modelo local:
    • En carpetas estilo Hugging Face:
      • tokenizer.json: Contiene el grafo completo del tokenizador rápido (reglas de normalización, regex de pretokenización, fusiones BPE y el Vocabulario completo) en un formato portable leído por la biblioteca tokenizers (escrita en Rust).
      • tokenizer_config.json: Guarda los metadatos de comportamiento, los tokens especiales (bos_token, eos_token, pad_token) y la plantilla Chat Template en Jinja2.
      • tokenizer.model: Archivo binario heredado (usado por SentencePiece/tiktoken) cuando el modelo no usa el formato JSON unificado.
    • En formato GGUF: Todo el tokenizador va serializado dentro de la cabecera del propio archivo binario para evitar errores de emparejamiento.
  • Particularidades técnicas críticas al programar o depurar en local:
    • Tokenización en Streaming (decodificación incremental): Durante la generación token por token, muchos caracteres multibyte UTF-8 (como emojis o vocales con tilde en español) se dividen en 2 o 3 tokens consecutivos. El tokenizador debe mantener un búfer interno hasta completar los bytes válidos para no imprimir caracteres rotos ( ) en pantalla.
    • Fertilidad del tokenizador (Fertility): Métrica que mide cuántos tokens necesita en promedio un tokenizador para representar una palabra en un idioma dado. Una baja fertilidad (más letras por token) acelera la inferencia y ahorra KV Cache, razón por la cual los modelos modernos aumentaron su vocabulario a más de 128k tokens.
  • Implementaciones en el ecosistema local: tokenizers de Hugging Face (Rust), tiktoken (OpenAI/Rust), el tokenizador nativo en C++ de llama.cpp y la clase ExLlamaV3Tokenizer en ExLlamaV3.