LLM
Categoría: modelos arquitectura inferencia
Definición
Modelo de aprendizaje profundo basado generalmente en la arquitectura Transformer (decoder-only) entrenado sobre billones de tokens para predecir de forma autorregresiva el siguiente token en una secuencia. En IA local se ejecutan en formatos comprimidos (EXL3, GGUF) sobre VRAM o RAM.
Puntos clave
- Ciclo de entrenamiento en 3 etapas (qué modelo estás descargando):
- Base (Pre-trained): Solo completa texto estadísticamente; no sigue órdenes ni conversa (útil para fine-tuning con LoRA o autocompletado de código).
- Instruct / Chat (SFT + RLHF / DPO / GRPO): Afinado para seguir instrucciones y respetar plantillas de chat (Chat Templates como ChatML, Llama-3, Jinja). Usar una plantilla equivocada degrada drásticamente sus respuestas.
- Reasoning (Test-Time Compute): Modelos entrenados mediante aprendizaje por refuerzo para generar cadenas de pensamiento internas (
<think>...</think>) antes de emitir la respuesta final.
- Arquitecturas densas vs. MoE (Mixture of Experts):
- Densos: Activan el 100% de sus parámetros en cada token generado (ej. un modelo 32B usa los 32B por token).
- MoE: Dividen las capas Feed-Forward en múltiples “expertos” y un enrutador activa solo una fracción por token (ej. 80B totales pero solo 13B activos). Exigen mucha VRAM/RAM para almacenar todos los pesos, pero generan texto a la velocidad de un modelo pequeño.
- Tokenización y Ventana de Contexto:
- El texto no entra como palabras sino como IDs numéricos (tokens, ~0.75 palabras en inglés o ~0.5–0.6 en español).
- La ventana de contexto (context length, ej. 8k, 32k, 128k) es el límite máximo de tokens que el modelo puede atender simultáneamente; su memoria crece mediante el KV Cache y suele escalarse con técnicas como RoPE (Rotary Position Embeddings).
- Parámetros críticos de muestreo (Sampling) en inferencia local:
Temperature: Controla la aleatoriedad escalando los logits antes del softmax (0.0= determinista;0.6–0.8= equilibrio creativo).Top-P/Min-P: Filtran la cola de tokens improbables. En inferencia local,Min-P(ej.0.05–0.1) suele dar resultados más coherentes queTop-Pclásico porque se adapta dinámicamente a la confianza del modelo.Repetition Penalty/DRY: Penalizan bucles de repetición de texto.