Tokenizador
Categoría: arquitectura herramientas inferencia tokenizacion
Definición
Componente de software determinista (empaquetado junto a cada LLM) que implementa las reglas de Tokenización y almacena el Vocabulario del modelo. Su única función es ejecutar dos métodos inversos en CPU: encode(texto) → lista_de_IDs antes de la Inferencia y decode(lista_de_IDs) → texto al recibir la salida de la GPU.
Puntos clave
- Acoplamiento estricto 1:1 con los Pesos del modelo:
- Un tokenizador no es intercambiable entre familias de modelos distintas. Cada fila de la matriz
embed_tokensy de la cabezalm_headde una Red Neuronal fue entrenada para corresponder exactamente al índice numérico asignado por su tokenizador específico. - Si cargas los pesos de Llama 3 con el tokenizador de Qwen o Mistral, el modelo recibirá IDs absurdos y generará texto completamente incoherente (gibberish).
- Un tokenizador no es intercambiable entre familias de modelos distintas. Cada fila de la matriz
- Qué archivos físicos lo componen en un modelo local:
- En carpetas estilo Hugging Face:
tokenizer.json: Contiene el grafo completo del tokenizador rápido (reglas de normalización, regex de pretokenización, fusiones BPE y el Vocabulario completo) en un formato portable leído por la bibliotecatokenizers(escrita en Rust).tokenizer_config.json: Guarda los metadatos de comportamiento, los tokens especiales (bos_token,eos_token,pad_token) y la plantilla Chat Template en Jinja2.tokenizer.model: Archivo binario heredado (usado por SentencePiece/tiktoken) cuando el modelo no usa el formato JSON unificado.
- En formato GGUF: Todo el tokenizador va serializado dentro de la cabecera del propio archivo binario para evitar errores de emparejamiento.
- En carpetas estilo Hugging Face:
- Particularidades técnicas críticas al programar o depurar en local:
- Tokenización en Streaming (decodificación incremental): Durante la generación token por token, muchos caracteres multibyte UTF-8 (como emojis o vocales con tilde en español) se dividen en 2 o 3 tokens consecutivos. El tokenizador debe mantener un búfer interno hasta completar los bytes válidos para no imprimir caracteres rotos (
) en pantalla. - Fertilidad del tokenizador (Fertility): Métrica que mide cuántos tokens necesita en promedio un tokenizador para representar una palabra en un idioma dado. Una baja fertilidad (más letras por token) acelera la inferencia y ahorra KV Cache, razón por la cual los modelos modernos aumentaron su vocabulario a más de 128k tokens.
- Tokenización en Streaming (decodificación incremental): Durante la generación token por token, muchos caracteres multibyte UTF-8 (como emojis o vocales con tilde en español) se dividen en 2 o 3 tokens consecutivos. El tokenizador debe mantener un búfer interno hasta completar los bytes válidos para no imprimir caracteres rotos (
- Implementaciones en el ecosistema local:
tokenizersde Hugging Face (Rust),tiktoken(OpenAI/Rust), el tokenizador nativo en C++ dellama.cppy la claseExLlamaV3Tokenizeren ExLlamaV3.