Alucinación

Categoría: inferencia fundamentos seguridad

Definición

Fenómeno en el que un LLM genera afirmaciones factualmente falsas, citas inexistentes, APIs inventadas o razonamientos fabricados presentándolos con un tono de total seguridad y coherencia gramatical. No es un fallo ocasional de software, sino una consecuencia estructural de cómo funcionan los modelos generativos autorregresivos.

Puntos clave

  • Por qué ocurre matemáticamente (la raíz del problema):
    • Durante el preentrenamiento, los Pesos de la Red Neuronal se optimizan para predecir el siguiente token estadísticamente más plausible, no para verificar la verdad factual.
    • Cuando el modelo enfrenta una pregunta fuera de sus datos de entrenamiento (o en zonas de baja densidad de información), la distribución de probabilidades sobre el Vocabulario se aplana y el muestreo elige continuaciones que “suenan” correctas por patrón sintáctico.
    • Durante el alineamiento (RLHF/SFT), muchos modelos son premiados por dar respuestas útiles y completas en lugar de responder “No lo sé”, incentivando la invención cuando dudan.
  • Factores que disparan las alucinaciones en IA local:
    • Temperatura alta (Temperature > 1.0): Obliga al muestreo a seleccionar tokens de la cola baja de probabilidad.
    • Cuantización extrema (< 3.0 bpw / IQ2): Destruye la precisión fina en las capas MLP donde reside el conocimiento factual memorizado.
    • Saturación de ventana de contexto (Lost in the Middle): Cuando se inyectan prompts de 30k–64k tokens, los modelos tienden a olvidar datos ubicados en el centro del texto y rellenan los huecos inventando detalles.
    • Chat Template incorrecto: Rompe la separación de roles y confunde al modelo sobre qué instrucciones debe seguir.
  • Cómo mitigarlas en arquitecturas locales:
    • Anclaje documental (RAG): Obligar al modelo a responder estrictamente a partir de fragmentos recuperados y citar la fuente.
    • Ajuste de muestreo: Bajar Temperature a 0.1–0.3 y usar Min-P (0.05–0.1) para tareas técnicas o extracción de datos.
    • Verificación externa vía Tool Calling: Hacer que el modelo ejecute el código o consulte una base de datos real mediante MCP en lugar de confiar en su memoria paramétrica.