Alucinación
Categoría: inferencia fundamentos seguridad
Definición
Fenómeno en el que un LLM genera afirmaciones factualmente falsas, citas inexistentes, APIs inventadas o razonamientos fabricados presentándolos con un tono de total seguridad y coherencia gramatical. No es un fallo ocasional de software, sino una consecuencia estructural de cómo funcionan los modelos generativos autorregresivos.
Puntos clave
- Por qué ocurre matemáticamente (la raíz del problema):
- Durante el preentrenamiento, los Pesos de la Red Neuronal se optimizan para predecir el siguiente token estadísticamente más plausible, no para verificar la verdad factual.
- Cuando el modelo enfrenta una pregunta fuera de sus datos de entrenamiento (o en zonas de baja densidad de información), la distribución de probabilidades sobre el Vocabulario se aplana y el muestreo elige continuaciones que “suenan” correctas por patrón sintáctico.
- Durante el alineamiento (RLHF/SFT), muchos modelos son premiados por dar respuestas útiles y completas en lugar de responder “No lo sé”, incentivando la invención cuando dudan.
- Factores que disparan las alucinaciones en IA local:
- Temperatura alta (
Temperature > 1.0): Obliga al muestreo a seleccionar tokens de la cola baja de probabilidad. - Cuantización extrema (
< 3.0 bpw/IQ2): Destruye la precisión fina en las capas MLP donde reside el conocimiento factual memorizado. - Saturación de ventana de contexto (Lost in the Middle): Cuando se inyectan prompts de 30k–64k tokens, los modelos tienden a olvidar datos ubicados en el centro del texto y rellenan los huecos inventando detalles.
- Chat Template incorrecto: Rompe la separación de roles y confunde al modelo sobre qué instrucciones debe seguir.
- Temperatura alta (
- Cómo mitigarlas en arquitecturas locales:
- Anclaje documental (RAG): Obligar al modelo a responder estrictamente a partir de fragmentos recuperados y citar la fuente.
- Ajuste de muestreo: Bajar
Temperaturea0.1–0.3y usarMin-P(0.05–0.1) para tareas técnicas o extracción de datos. - Verificación externa vía Tool Calling: Hacer que el modelo ejecute el código o consulte una base de datos real mediante MCP en lugar de confiar en su memoria paramétrica.