Un modelo de lenguaje puede redactar un informe impecable y, en la misma respuesta, inventar una ley, una cita o una cifra con total naturalidad. El fenómeno se conoce como alucinación, y no es un error de configuración que se corrija con una actualización: es una consecuencia del diseño. Entender por qué ocurre es la mejor defensa para quien lo usa a diario.

Qué es una alucinación

En la literatura técnica, una alucinación es un texto generado que resulta falso o que no se sostiene en la fuente que debería respaldarlo. La encuesta académica de Ji y colaboradores, publicada en ACM Computing Surveys, distingue dos grandes tipos: la infidelidad a la fuente, cuando el texto contradice la información de entrada, y la falta de veracidad factual, cuando afirma algo que no es cierto sobre el mundo. Un resumen que inventa un dato del documento original y una respuesta que cita un estudio inexistente son alucinaciones de distinto tipo, pero del mismo origen.

Por qué ocurre

Un modelo de lenguaje no consulta una base de datos de hechos ni razona como un investigador. Se entrenó para predecir la siguiente palabra más probable en un texto, y esa tarea lo vuelve extraordinariamente bueno para producir lenguaje plausible. La plausibilidad, sin embargo, no es lo mismo que la verdad.

  • El objetivo de entrenamiento. El modelo aprende patrones estadísticos del lenguaje, no una representación verificada del mundo.
  • Vacíos en los datos. Si un tema aparece poco en el entrenamiento, el modelo completa con lo que parece coherente.
  • Corte temporal. El conocimiento se detiene en la fecha de los datos de entrenamiento, salvo que use herramientas externas.
  • Presión por responder. El sistema está diseñado para dar una respuesta útil, y a veces la produce aunque no tenga base suficiente.
  • Ambigüedad de la pregunta. Una instrucción imprecisa invita a rellenar huecos con suposiciones.
  • Sesgo de complacencia. Los modelos tienden a coincidir con el usuario, incluso cuando el usuario está equivocado.

La segunda encuesta, de Huang y colaboradores, organiza el fenómeno en causas de datos, de entrenamiento y de inferencia, y advierte que mitigar una puede agravar otra. No existe una solución única.

Las señales de alerta más fiables

  • Citas y enlaces. Un título, autor o DOI que no se puede localizar es la señal más clara. Abra siempre la fuente citada.
  • Cifras redondas o demasiado específicas. Porcentajes, fechas y montos sin fuente verificable merecen desconfianza.
  • Detalles biográficos o legales. Nombres de cargos, artículos de una ley o fechas de vigencia son un terreno clásico de invención.
  • Exceso de seguridad. La fluidez no indica certeza. Un texto bien escrito puede ser falso de principio a fin.
  • Inconsistencia interna. Pedir la misma información de otra forma suele revelar contradicciones.

Un método práctico de verificación

El primer paso es separar lo que el modelo afirma de lo que se puede comprobar. El segundo es buscar cada dato relevante en una fuente primaria o en dos fuentes independientes. El tercero es preguntar al modelo por la evidencia y luego revisarla: si no puede señalar un documento concreto, la afirmación queda en suspenso. El cuarto es repetir la consulta con una formulación distinta y comparar. Este procedimiento es más lento que copiar la respuesta, y por eso mismo es el único que sirve en contextos donde el error tiene consecuencias.

Las herramientas de recuperación de información, que conectan el modelo con documentos externos, reducen el riesgo porque anclan la respuesta en textos concretos. Aun así, no lo eliminan: el modelo puede citar mal la fuente o mezclar documentos. La verificación humana sigue siendo necesaria.

Qué dice el marco de riesgos

El Marco de Gestión de Riesgos de Inteligencia Artificial del NIST, de Estados Unidos, propone tratar estos fallos como riesgos que se identifican, se miden y se mitigan, no como defectos imprevisibles. El perfil específico para inteligencia artificial generativa incluye la confabulación entre los riesgos a gestionar. Traducido a la práctica: toda organización que use estos sistemas debería definir quién verifica, con qué fuentes y con qué margen de tolerancia al error.

Cuándo el riesgo es mayor

El riesgo crece cuando el dato es reciente, poco documentado o muy local; cuando el usuario no tiene forma de comprobarlo; cuando la respuesta se publica sin revisión; y cuando el tema afecta salud, dinero o derechos. En esos casos, la regla es simple: ninguna afirmación generada por un modelo entra en un texto publicable sin una fuente que la respalde.

Un modelo de lenguaje no miente: completa. El problema es que completa con la misma seguridad con la que acierta.

Detectar una alucinación no requiere desconfiar de toda la tecnología, sino cambiar la pregunta: en lugar de «¿suena bien?», preguntar «¿quién lo dice y dónde lo puedo comprobar?».