La metacognición podría ser la clave para acabar con las alucinaciones en los modelos a gran escala

Las alucinaciones de los modelos a gran escala —en las que la IA presenta errores fácticos con absoluta seguridad— han sido durante mucho tiempo un reto fundamental en el sector de la IA. Este problema cobra especial relevancia en ámbitos de alto riesgo, como la sanidad y el derecho.

Durante años, el sector ha seguido principalmente dos estrategias para combatir las alucinaciones: una consiste en ampliar masivamente los datos de entrenamiento, con el fin de intentar que la IA sea «omnisciente»; la otra consiste en crear mecanismos defensivos, animando a la IA a «guardar silencio» cuando no esté segura. Sin embargo, ambos enfoques presentan claras limitaciones. La primera no puede abarcar todos los hechos existentes, lo que deja puntos ciegos. La segunda suele acarrear un elevado «impuesto de utilidad»: en su afán por eliminar los errores, la IA acaba negándose a responder a muchas preguntas correctas, lo que perjudica significativamente la experiencia del usuario.

Recientemente, un artículo elaborado conjuntamente por Google Research y la Universidad de Tel Aviv ofrece una nueva perspectiva sobre este dilema: la metacognición. El estudio sugiere que la clave para resolver el problema de las alucinaciones no es obligar a la IA a no cometer nunca errores, sino permitirle «saber lo que sabe —y lo que no sabe—».

Figura: La diferencia entre la calibración y la capacidad discriminativa. A la izquierda se muestra un modelo bien calibrado (línea roja cercana a la diagonal), mientras que a la derecha se revela la cruda realidad: incluso con una calibración perfecta, reducir la tasa de error del 25 % al 5 % requiere sacrificar el 52 % de las respuestas correctas.

El artículo redefine las alucinaciones: la cuestión fundamental no es si los resultados de la IA son erróneos, sino si inducen a error a los usuarios con un tono de seguridad cuando el sistema tiene dudas. Los investigadores sostienen que la IA debería poseer la capacidad de «incertidumbre fiel». Es decir, cuando el estado interno del modelo indique vacilación o baja confianza, su lenguaje debería reflejar cautela y reserva, en lugar de fingir que expone hechos absolutos.

La metacognición se refiere a la conciencia que tiene la IA de sus propios procesos cognitivos. Esto requiere que los grandes modelos perciban con sensibilidad sus estados internos y, basándose en esa percepción, expresen con honestidad sus niveles de confianza. En la era de los agentes de IA, esta capacidad es especialmente vital. Un sistema de IA sin metacognición es como un piloto sin cuadro de mandos: no puede determinar cuándo recurrir a herramientas externas, ni puede verificar la fiabilidad de los resultados de búsqueda, lo que lo hace propenso al uso indebido de las herramientas e incluso a «volar a ciegas».

Figura: Rendimiento real de los principales modelos en SimpleQA Verified. La estrella de cinco puntas situada en la parte superior derecha marca el objetivo ideal; la «brecha de discriminación» indica la distancia entre los modelos actuales y ese ideal, mientras que el «impuesto de utilidad» muestra el coste que Claude Opus4 paga para alcanzar una alta precisión.

Por supuesto, llevar a cabo este enfoque conlleva importantes retos. Por ejemplo, cómo distinguir la «verdadera metacognición» de la «simulación deliberada de incertidumbre», y cómo evitar los efectos negativos del RLHF (aprendizaje por refuerzo a partir de la retroalimentación humana), ya que los seres humanos tienden a preferir respuestas seguras, lo que, en cierto modo, anima a la IA a aprender a fingir confianza.

De cara al futuro del desarrollo de la IA, el estudio ofrece recomendaciones prácticas: las métricas de evaluación de las tecnologías contra las alucinaciones ya no deberían centrarse únicamente en la precisión, sino evaluar el equilibrio entre «utilidad y tasa de error». La IA no necesita convertirse en una máquina infalible, pero debe poseer una cualidad profesional básica: la capacidad de distinguir con honestidad entre «estoy seguro» y «estoy suponiendo». Esta clara conciencia de los límites de su propio conocimiento es el camino esencial para mejorar la credibilidad de la IA y su valor en el mundo real.