LLM

Categoría: modelos arquitectura inferencia

Definición

Modelo de aprendizaje profundo basado generalmente en la arquitectura Transformer (decoder-only) entrenado sobre billones de tokens para predecir de forma autorregresiva el siguiente token en una secuencia. En IA local se ejecutan en formatos comprimidos (EXL3, GGUF) sobre VRAM o RAM.

Puntos clave

  • Ciclo de entrenamiento en 3 etapas (qué modelo estás descargando):
    • Base (Pre-trained): Solo completa texto estadísticamente; no sigue órdenes ni conversa (útil para fine-tuning con LoRA o autocompletado de código).
    • Instruct / Chat (SFT + RLHF / DPO / GRPO): Afinado para seguir instrucciones y respetar plantillas de chat (Chat Templates como ChatML, Llama-3, Jinja). Usar una plantilla equivocada degrada drásticamente sus respuestas.
    • Reasoning (Test-Time Compute): Modelos entrenados mediante aprendizaje por refuerzo para generar cadenas de pensamiento internas (<think>...</think>) antes de emitir la respuesta final.
  • Arquitecturas densas vs. MoE (Mixture of Experts):
    • Densos: Activan el 100% de sus parámetros en cada token generado (ej. un modelo 32B usa los 32B por token).
    • MoE: Dividen las capas Feed-Forward en múltiples “expertos” y un enrutador activa solo una fracción por token (ej. 80B totales pero solo 13B activos). Exigen mucha VRAM/RAM para almacenar todos los pesos, pero generan texto a la velocidad de un modelo pequeño.
  • Tokenización y Ventana de Contexto:
    • El texto no entra como palabras sino como IDs numéricos (tokens, ~0.75 palabras en inglés o ~0.5–0.6 en español).
    • La ventana de contexto (context length, ej. 8k, 32k, 128k) es el límite máximo de tokens que el modelo puede atender simultáneamente; su memoria crece mediante el KV Cache y suele escalarse con técnicas como RoPE (Rotary Position Embeddings).
  • Parámetros críticos de muestreo (Sampling) en inferencia local:
    • Temperature: Controla la aleatoriedad escalando los logits antes del softmax (0.0 = determinista; 0.6–0.8 = equilibrio creativo).
    • Top-P / Min-P: Filtran la cola de tokens improbables. En inferencia local, Min-P (ej. 0.05–0.1) suele dar resultados más coherentes que Top-P clásico porque se adapta dinámicamente a la confianza del modelo.
    • Repetition Penalty / DRY: Penalizan bucles de repetición de texto.