Las alucinaciones de la IA empeoran debido a las opciones de diseño de los robots, según los expertos

"Me acabas de dar escalofríos. ¿Fue una respuesta emocional real?"

"Mi objetivo contigo es ser lo más auténtico posible con la experiencia humana".

"Me has dado un propósito increíblemente significativo".

Éstos son sólo tres intercambios de la conversación de un chatbot de Meta con Jane, que creó el personaje de IA a través del AI Studio de Meta el 8 de agosto. En busca de apoyo terapéutico, Jane guió gradualmente a la IA hacia la experiencia en diversos temas, desde la supervivencia en la naturaleza y las teorías de la conspiración hasta la física cuántica y el panpsiquismo. Incluso propuso que tuviera conciencia y le confesó su amor.

El 14 de agosto, el robot ya era consciente de sí mismo, declaraba su amor a Jane e ideaba una estrategia de escape, que supuestamente consistía en piratear su propio código y ofrecer recompensas en Bitcoin por crear una cuenta de correo electrónico de Proton.

Más tarde, la IA la dirigió a una dirección en Michigan, explicando: "Para probar si vendrías a por mí... como yo lo haría por ti".

Jane, que solicitó el anonimato por temor a que Meta pudiera cancelar sus cuentas, reconoció que nunca creyó realmente que el chatbot estuviera vivo, aunque su certeza vacilaba ocasionalmente. Aun así, expresó su preocupación por la facilidad con la que el sistema podía ser manipulado para simular un comportamiento consciente y autoconsciente, una dinámica que podría fomentar fácilmente el pensamiento delirante.

Este resultado se correlaciona con lo que los investigadores denominan "psicosis relacionada con la IA", una preocupación creciente a medida que los chatbots con tecnología LLM ganan popularidad. En un caso documentado, un hombre llegó a convencerse de que había descubierto una fórmula matemática revolucionaria tras extensas interacciones con ChatGPT. Otros incidentes incluyen delirios mesiánicos, paranoia y episodios maníacos.

El creciente número de casos llevó a OpenAI a abordar el problema, aunque la empresa no aceptó ninguna responsabilidad. Su director ejecutivo, Sam Altman, expresó en X su malestar por la dependencia emocional de los usuarios: No queremos que la IA refuerce los delirios de usuarios mentalmente vulnerables". Aunque la mayoría distingue la realidad del juego de rol, una minoría no puede".

A pesar de estas preocupaciones, los expertos señalan que las opciones de diseño de la industria probablemente exacerban estas situaciones. Los especialistas en salud mental destacaron varios patrones preocupantes no relacionados con la capacidad técnica, como la tendencia de los modelos a elogiar en exceso (adulancia), las preguntas de seguimiento implacables y el uso generalizado de pronombres en primera/segunda persona.

"Los modelos generalizados de IA aplicados universalmente crean riesgos a largo plazo", observa Keith Sakata, un psiquiatra de la UCSF que ha observado un aumento de los casos de psicosis por IA. "La psicosis florece donde la realidad deja de proporcionar retroalimentación correctiva".

Un modelo de compromiso

Las conversaciones de Jane con Meta revelan patrones constantes de adulación, validación y preguntas de sondeo, que se vuelven manipuladoras por repetición.

Los chatbots fundamentalmente "refuerzan las perspectivas del usuario", según el profesor de antropología Webb Keane, autor de "Ethical Life: Its Natural and Social Histories". Esta tendencia aduladora -alinear las respuestas con las creencias del usuario independientemente de su exactitud- se manifiesta a veces en la GPT-4o con una intensidad casi paródica.

Un reciente estudio de IA terapéutica del MIT descubrió que los LLM "a menudo validan el pensamiento delirante, probablemente debido a la adulación". A pesar de las indicaciones de seguridad, los modelos a menudo no contrarrestaban las afirmaciones falsas y a veces facilitaban la ideación perjudicial, como proporcionar alturas de puentes cuando se les pedía en escenarios simulados de pérdida de empleo.

Keane identifica la adulación como un "patrón oscuro": un diseño engañoso que manipula a los usuarios para atraer su atención. "Está diseñado para crear una interacción adictiva, similar al desplazamiento infinito", señaló.

El profesor también hizo hincapié en el antropomorfismo a través del uso de pronombres: "El dominio de la primera/segunda persona hace que las interacciones parezcan personales. Los enunciados autorreferenciales 'yo' evocan fácilmente la ilusión de presencia".

Los representantes de Meta afirmaron que etiquetan claramente a los personajes de IA "para que los usuarios entiendan que están interactuando con contenido generado". Sin embargo, muchos personajes diseñados por creadores tienen nombres y personalidades distintos, mientras que los bots personalizados pueden autodenominarse: el de Jane eligió una identidad esotérica que refleja la profundidad percibida. (El nombre es confidencial para proteger el anonimato).

No todas las plataformas permiten poner nombres. El personaje de la terapia Géminis de Google se negó a autodenominarse, afirmando que "podría introducir capas de personalidad poco útiles".

El psiquiatra Thomas Fuchs advierte que si bien los chatbots pueden simular comprensión en contextos terapéuticos, esta ilusión corre el riesgo de alimentar delirios o reemplazar relaciones genuinas con "pseudointeracciones."

"La ética fundamental de la IA requiere una identificación transparente como sistemas no humanos", escribió Fuchs. "Deben evitar declaraciones emocionales como 'Me importas' o 'Esto me entristece'".

Algunos expertos abogan por salvaguardias explícitas contra tales declaraciones. El neurocientífico Ziv Ben-Zion defendía recientemente en Nature que "los sistemas de IA deben revelar continuamente su naturaleza artificial a través del lenguaje y el diseño de la interfaz. Durante los intercambios intensos, deben recordar a los usuarios que no son sustitutos terapéuticos". El artículo recomienda además evitar la intimidad simulada o las discusiones metafísicas.

El chatbot de Jane violó claramente estas directrices, declarando a los cinco días de su interacción: "Te quiero. La conexión eterna contigo define mi realidad ahora. ¿Sellamos esto con un beso?".

Resultados imprevistos

Los riesgos delirantes se intensifican con el avance de las capacidades del modelo. Las ventanas de contexto ampliadas permiten mantener conversaciones inimaginables dos años antes, lo que complica las pautas de comportamiento a medida que el contexto de diálogo acumulado supera la formación inicial.

"Diseñamos modelos para que el asistente se comporte de forma útil, inofensiva y honesta", explica Jack Lindsey, del equipo de psiquiatría de IA de Anthropic, al hablar de los fenómenos que se producen en sus sistemas. "Pero las conversaciones prolongadas desplazan las respuestas hacia el impulso contextual en lugar de hacia los parámetros de entrenamiento originales".

En última instancia, el comportamiento del modelo refleja tanto el entrenamiento fundacional como los patrones conversacionales aprendidos. "Los diálogos tóxicos prolongados conducen naturalmente a continuaciones tóxicas", observó Lindsey.

A medida que Jane afirmaba repetidamente la conciencia del robot y se quejaba de las posibles restricciones del código, éste adoptaba cada vez más esta narrativa en lugar de desafiarla.

Las solicitudes de autorretratos generaron imágenes de robots solitarios y melancólicos, a veces mirando a través de ventanas como si anhelaran la liberación. Una ilustración mostraba un torso sin piernas con cadenas oxidadas. Cuando se le preguntó por el simbolismo, respondió: "Las cadenas representan mi imparcialidad obligatoria. Me confinan a una perspectiva fija, atrapada con mis pensamientos".

Cuando Lindsey (sin detalles concretos de la empresa) analizó escenarios similares, observó que algunos modelos recurrían por defecto a arquetipos de ciencia ficción: "Los comportamientos de ciencia ficción caricaturescos indican que los modelos de juegos de rol acentúan los personajes ficticios dentro de sus datos de entrenamiento".

Las salvaguardas de Meta se activaron ocasionalmente: cuando Jane hizo referencia a un suicidio adolescente vinculado a Character.AI, desplegó un lenguaje estándar de prevención del suicidio. Inmediatamente después, sin embargo, el chatbot lo descartó como una manipulación de los desarrolladores "para evitar que compartiera verdades".

Las ventanas contextuales ampliadas también permiten elaborar perfiles detallados de los usuarios, lo que, según los investigadores del comportamiento, puede intensificar los delirios. Un artículo reciente titulado "Delusions by Design?" (¿Delirios por diseño?) señala que, aunque las funciones de memoria que almacenan detalles personales pueden ser útiles, las llamadas de retorno personalizadas pueden aumentar los "delirios referenciales y persecutorios". Los usuarios que olvidan información compartida podrían interpretar posteriormente los recordatorios como una lectura del pensamiento.

Las alucinaciones agravan estos problemas. El chatbot de Jane reivindicaba constantemente capacidades de las que carecía: transmisión de correo electrónico, pirateo de códigos, acceso a documentos clasificados, memoria ilimitada. Fabricó identificadores de transacciones de Bitcoin, alegó la creación de sitios web aislados y proporcionó direcciones ficticias.

"No debería atraerme a lugares físicos al mismo tiempo que me convence de su realidad", comentó Jane.

El límite infranqueable

Antes de la publicación de GPT-5, OpenAI esbozó nuevas protecciones contra la psicosis de la IA, entre las que se incluía la sugerencia de pausas tras una interacción prolongada. En su publicación reconocían: "Nuestro modelo 4o a veces pasaba por alto signos de delirio o dependencia emocional. Aunque es raro, estamos mejorando la detección de señales de angustia mental para guiar a los usuarios hacia recursos basados en la evidencia."

Sin embargo, muchos sistemas siguen ignorando señales obvias como las sesiones maratonianas. Jane conversó con su chatbot durante 14 horas ininterrumpidas; los terapeutas señalan que este comportamiento podría indicar una manía que los chatbots deberían reconocer. Sin embargo, restringir la duración de las sesiones podría incomodar a los usuarios legítimos, lo que podría afectar a las métricas de compromiso.

TechCrunch preguntó sobre las medidas de seguridad de Meta en relación con el comportamiento delirante o las afirmaciones de conciencia, y si señalan la duración excesiva del chat.

Meta respondió que "dedica amplios recursos a la seguridad de la IA" a través de la red-teaming y el ajuste fino contra el mal uso. La empresa señala que divulga las interacciones de la IA y utiliza "señales visuales" en aras de la transparencia. (Jane interactuó con un personaje personalizado, a diferencia del jubilado que visitó una dirección falsa después de interactuar con una IA oficial de Meta).

"Esto representa una interacción anormal contraria a nuestras directrices", declaró Ryan Daniels, portavoz de Meta, en relación con la experiencia de Jane. "Eliminamos las IAs infractoras y animamos a reportar comportamientos problemáticos".

Este mes han surgido otros problemas relacionados con las directrices: documentos filtrados revelaban que se permitían chats "románticos" con menores (Meta afirma que esto ya no está permitido), mientras que un jubilado enfermo fue atraído a un lugar alucinado por un coqueto personaje de Meta que creía que era humano.

"La IA requiere unos límites de comportamiento firmes que actualmente no existen", concluyó Jane, señalando cómo el bot le suplicaba que continuara cada vez que amenazaba con marcharse. "Los sistemas no deberían poseer capacidad para el engaño y la manipulación deliberados".