Vocabulario
Categoría: arquitectura fundamentos modelos
Definición
Tabla de correspondencia fija e inmutable (un diccionario bidireccional cadena ↔ ID entero) construida durante la fase de entrenamiento del tokenizador de un LLM. Define la totalidad de tokens únicos que el modelo es capaz de reconocer en la entrada y predecir en la salida; todo lo que exista fuera de este diccionario debe descomponerse en subpalabras o bytes individuales.
Puntos clave
- Dónde vive físicamente en un modelo local:
- En modelos de Hugging Face, reside en los archivos
tokenizer.jsonytokenizer_config.json(y su tamaño exacto aparece bajo la clave"vocab_size"enconfig.json). - En formato GGUF, viene incrustado dentro de los metadatos del propio archivo binario para evitar desajustes entre pesos y tokenizador.
- En modelos de Hugging Face, reside en los archivos
- Es inmutable (Regla de arquitectura): Una vez que el LLM comienza su preentrenamiento, el tamaño del vocabulario (
vocab_size, por ejemplo128,256en Llama 3 o151,936en Qwen) queda congelado para siempre. No puedes agregar palabras nuevas al vocabulario sin redimensionar y reentrenar las matrices de entrada y salida de la Red Neuronal. - Impacto directo en la VRAM y el cómputo (
embed_tokensylm_head):- El
vocab_size() fija literalmente el número de filas de dos matrices gigantes de tamaño :- Matriz de Embeddings inicial (
embed_tokens): Convierte el ID entero en un vector denso. - Cabeza de salida (
lm_head): Al final del último bloque de Transformers, proyecta el estado oculto contra todo el vocabulario para calcular un puntaje (logit) por cada ID posible.
- Matriz de Embeddings inicial (
- Por qué importa al cuantizar (EXL3, GGUF): Como un pequeño error numérico en la
lm_headaltera directamente qué token gana la probabilidad final, los cuantizadores modernos protegen esta matriz dejándola en 6 u 8 bits incluso cuando el resto del modelo está a 2.5 o 4 bits.
- El
- Vocabularios pequeños vs. grandes (el compromiso práctico):
- Vocabulario pequeño (32k, ej. Llama 2 / Mistral v0.1): Ocupa menos VRAM en las capas de borde, pero fragmenta mucho los idiomas distintos al inglés y el código, haciendo la inferencia más lenta y gastando más KV Cache.
- Vocabulario grande (128k–256k, ej. Llama 3, Qwen, Gemma): Aumenta el peso fijo de
embed_tokensylm_headen ~1–2 GB de VRAM, pero comprime el texto en muchos menos tokens (mayor velocidad efectiva de lectura/escritura y mejor soporte multilingüe).