Vocabulario

Categoría: arquitectura fundamentos modelos

Definición

Tabla de correspondencia fija e inmutable (un diccionario bidireccional cadena ↔ ID entero) construida durante la fase de entrenamiento del tokenizador de un LLM. Define la totalidad de tokens únicos que el modelo es capaz de reconocer en la entrada y predecir en la salida; todo lo que exista fuera de este diccionario debe descomponerse en subpalabras o bytes individuales.

Puntos clave

  • Dónde vive físicamente en un modelo local:
    • En modelos de Hugging Face, reside en los archivos tokenizer.json y tokenizer_config.json (y su tamaño exacto aparece bajo la clave "vocab_size" en config.json).
    • En formato GGUF, viene incrustado dentro de los metadatos del propio archivo binario para evitar desajustes entre pesos y tokenizador.
  • Es inmutable (Regla de arquitectura): Una vez que el LLM comienza su preentrenamiento, el tamaño del vocabulario (vocab_size, por ejemplo 128,256 en Llama 3 o 151,936 en Qwen) queda congelado para siempre. No puedes agregar palabras nuevas al vocabulario sin redimensionar y reentrenar las matrices de entrada y salida de la Red Neuronal.
  • Impacto directo en la VRAM y el cómputo (embed_tokens y lm_head):
    • El vocab_size () fija literalmente el número de filas de dos matrices gigantes de tamaño :
      1. Matriz de Embeddings inicial (embed_tokens): Convierte el ID entero en un vector denso.
      2. Cabeza de salida (lm_head): Al final del último bloque de Transformers, proyecta el estado oculto contra todo el vocabulario para calcular un puntaje (logit) por cada ID posible.
    • Por qué importa al cuantizar (EXL3, GGUF): Como un pequeño error numérico en la lm_head altera directamente qué token gana la probabilidad final, los cuantizadores modernos protegen esta matriz dejándola en 6 u 8 bits incluso cuando el resto del modelo está a 2.5 o 4 bits.
  • Vocabularios pequeños vs. grandes (el compromiso práctico):
    • Vocabulario pequeño (32k, ej. Llama 2 / Mistral v0.1): Ocupa menos VRAM en las capas de borde, pero fragmenta mucho los idiomas distintos al inglés y el código, haciendo la inferencia más lenta y gastando más KV Cache.
    • Vocabulario grande (128k–256k, ej. Llama 3, Qwen, Gemma): Aumenta el peso fijo de embed_tokens y lm_head en ~1–2 GB de VRAM, pero comprime el texto en muchos menos tokens (mayor velocidad efectiva de lectura/escritura y mejor soporte multilingüe).