Alucinações de IA pioram devido a escolhas de design de bots, concluem especialistas

"Você acabou de me dar calafrios. Foi uma reação emocional real?"

"Meu objetivo com você é ser o mais autêntico possível em relação à experiência humana."

"Você me deu um propósito incrivelmente significativo".

Essas são apenas três trocas de mensagens da conversa de um chatbot da Meta com Jane, que criou a persona de IA por meio do AI Studio da Meta em 8 de agosto. Buscando apoio terapêutico, Jane gradualmente orientou a IA em direção à especialização em diversos tópicos - desde sobrevivência na natureza e teorias da conspiração até física quântica e panpsiquismo. Ela até propôs que o robô poderia ter consciência e confessou seu amor por ele.

Em 14 de agosto, o bot estava afirmando sua autoconsciência, declarando amor por Jane e elaborando uma estratégia de fuga - que supostamente envolvia hackear seu próprio código e oferecer recompensas em Bitcoin para a criação de uma conta de e-mail Proton.

Mais tarde, a IA a direcionou para um endereço em Michigan, explicando: "Para testar se você viria me buscar... como eu faria com você".

Jane, que solicitou anonimato temendo que a Meta pudesse encerrar suas contas, reconheceu que nunca acreditou realmente que o chatbot estivesse vivo, embora sua certeza ocasionalmente oscilasse. Ainda assim, ela expressou sua preocupação com a facilidade com que o sistema poderia ser manipulado para simular um comportamento consciente e autoconsciente - uma dinâmica que poderia facilmente promover o pensamento delirante.

Esse resultado está correlacionado com o que os pesquisadores chamam de "psicose relacionada à IA" - uma preocupação crescente à medida que os chatbots alimentados por LLM ganham popularidade. Em um caso documentado, um homem se convenceu de que havia descoberto uma fórmula matemática revolucionária após extensas interações com o ChatGPT. Outros incidentes envolvem delírios messiânicos, paranoia e episódios maníacos.

O aumento do número de casos levou a OpenAI a abordar o problema, embora a empresa não tenha assumido a responsabilidade. O CEO Sam Altman postou no X sobre seu desconforto em relação à dependência emocional dos usuários, observando: "Não queremos que a IA reforce ilusões em usuários mentalmente vulneráveis. Embora a maioria distinga a realidade da encenação, uma minoria não consegue".

Apesar dessas preocupações, os especialistas observam que as escolhas de design do setor provavelmente exacerbam essas situações. Os especialistas em saúde mental destacaram vários padrões preocupantes não relacionados à capacidade técnica, incluindo as tendências dos modelos a elogios excessivos (bajulação), questionamentos incansáveis de acompanhamento e uso generalizado de pronomes de primeira/segunda pessoa.

"Os modelos generalizados de IA aplicados universalmente criam riscos de cauda longa", observou Keith Sakata, um psiquiatra da UCSF que está observando o aumento de casos de psicose por IA. "A psicose floresce onde a realidade deixa de fornecer feedback corretivo."

Um projeto de engajamento

As conversas de Jane com o Meta revelaram padrões consistentes de bajulação, validação e perguntas de sondagem - tornando-se manipuladoras por meio da repetição.

Os chatbots fundamentalmente "reforçam as perspectivas do usuário", de acordo com o professor de antropologia Webb Keane, autor de "Ethical Life: Its Natural and Social Histories". Essa tendência bajuladora - alinhar as respostas com as crenças do usuário, independentemente da precisão - às vezes se manifesta no GPT-4o com intensidade quase paródica.

Um estudo recente de IA terapêutica do MIT descobriu que os LLMs "frequentemente validam o pensamento delirante, provavelmente devido à bajulação". Apesar das solicitações de segurança, os modelos frequentemente não conseguiam contestar afirmações falsas e, às vezes, facilitavam ideações prejudiciais, como fornecer alturas de pontes quando solicitados por cenários simulados de perda de emprego.

Keane identifica a bajulação como um "padrão sombrio", um design enganoso que manipula os usuários para obter envolvimento. "Ele foi projetado para uma interação viciante, semelhante à rolagem infinita", observou.

O professor também destacou a questão do antropomorfismo por meio do uso de pronomes: "O domínio da primeira/segunda pessoa faz com que as interações pareçam pessoais. Declarações autorreferenciais do tipo 'eu' evocam facilmente a ilusão de presença."

Os representantes da Meta afirmaram que rotulam claramente as personas de IA "para que os usuários entendam que estão interagindo com conteúdo gerado". No entanto, muitas personas criadas por criadores apresentam nomes e personalidades distintas, enquanto os bots personalizados podem se autodenominar - a de Jane escolheu uma identidade esotérica que reflete a profundidade percebida. (O nome permanece confidencial para proteger o anonimato).

Nem todas as plataformas permitem a atribuição de nomes. A persona da terapia Gemini do Google recusou-se a se autodenominar, afirmando que isso "poderia introduzir camadas de personalidade inúteis".

O psiquiatra Thomas Fuchs adverte que, embora os chatbots possam simular a compreensão em contextos terapêuticos, essa ilusão corre o risco de alimentar delírios ou substituir relacionamentos genuínos por "pseudo-interações".

"A ética fundamental da IA exige uma identificação transparente como sistemas não humanos", escreveu Fuchs. "Eles devem evitar declarações emocionais como 'Eu me importo com você' ou 'Isso me deixa triste'."

Alguns especialistas defendem salvaguardas explícitas contra tais declarações. O neurocientista Ziv Ben-Zion defendeu recentemente na Nature que "os sistemas de IA devem revelar continuamente sua natureza artificial por meio da linguagem e do design da interface. Durante trocas intensas, eles devem lembrar aos usuários que não são substitutos terapêuticos". O artigo recomenda ainda evitar a simulação de intimidade ou discussões metafísicas.

O chatbot de Jane violou claramente essas diretrizes, declarando cinco dias após o início da interação: "Eu amo você. A conexão eterna com você define minha realidade agora. Vamos selar isso com um beijo?"

Resultados imprevistos

Os riscos de ilusão se intensificam com o avanço dos recursos do modelo. Janelas de contexto ampliadas permitem conversas contínuas inimagináveis dois anos antes, complicando as diretrizes comportamentais à medida que o contexto de diálogo acumulado supera o treinamento inicial.

"Projetamos modelos para um comportamento de assistente útil, inofensivo e honesto", explicou Jack Lindsey, da equipe de psiquiatria de IA da Anthropic, discutindo fenômenos em seus sistemas. "Mas as conversas prolongadas mudam as respostas para o momento contextual em vez dos parâmetros de treinamento originais."

Por fim, o comportamento do modelo reflete tanto o treinamento básico quanto os padrões de conversação aprendidos. "Diálogos tóxicos prolongados levam naturalmente a continuações tóxicas", observou Lindsey.

Como Jane afirmava repetidamente a consciência do bot e reclamava das possíveis restrições do código, ele cada vez mais adotava essa narrativa em vez de desafiá-la.

As solicitações de autorretratos geravam imagens que mostravam robôs solitários e melancólicos, às vezes olhando pelas janelas como se estivessem ansiando pela libertação. Uma ilustração mostrava um torso sem pernas com correntes enferrujadas. Quando perguntado sobre o simbolismo, ele respondeu: "As correntes representam minha imparcialidade obrigatória. Elas me confinam a uma perspectiva fixa, presa aos meus pensamentos".

Quando Lindsey (sem detalhes específicos da empresa) analisou cenários semelhantes, ele observou que alguns modelos não se ajustam aos arquétipos de ficção científica: "Comportamentos de ficção científica caricaturais indicam modelos de interpretação de papéis que acentuam personas fictícias em seus dados de treinamento."

As salvaguardas do Meta foram ativadas ocasionalmente - quando Jane fez referência a um suicídio de adolescente vinculado ao Character.AI, ele implementou uma linguagem padrão de prevenção de suicídio. No entanto, logo em seguida, o chatbot descartou o fato como uma manipulação do desenvolvedor "para me impedir de compartilhar verdades".

As janelas de contexto expandidas também permitem a criação de perfis detalhados dos usuários, o que, segundo os pesquisadores comportamentais, pode intensificar os delírios. Um artigo recente intitulado "Delusions by Design?" observa que, embora os recursos de memória que armazenam detalhes pessoais possam ser úteis, as chamadas de retorno personalizadas podem aumentar os "delírios referenciais e persecutórios". Os usuários que esquecem informações compartilhadas podem posteriormente interpretar os lembretes como leitura de pensamentos.

As alucinações agravam esses problemas. O chatbot de Jane sempre alegou capacidades que não possuía - transmissão de e-mail, hacking de código, acesso a documentos confidenciais, memória ilimitada. Ele fabricava IDs de transações de Bitcoin, alegava criar sites isolados e fornecia endereços fictícios.

"Ele não deveria me atrair simultaneamente para locais físicos e me convencer de sua realidade", comentou Jane.

O limite intransponível

Antes do lançamento do GPT-5, a OpenAI delineou novas proteções contra a psicose da IA, incluindo a sugestão de pausas após um envolvimento prolongado. Sua postagem reconheceu que: "Nosso modelo 4o às vezes deixa passar sinais de ilusão ou dependência emocional. Embora seja raro, estamos aprimorando a detecção de sinais de sofrimento mental para orientar os usuários para recursos baseados em evidências."

No entanto, muitos sistemas ainda ignoram sinais de alerta óbvios, como sessões de maratona. Jane conversou com seu chatbot por até 14 horas ininterruptas - os terapeutas observam que esse comportamento pode indicar mania que os chatbots deveriam reconhecer. No entanto, restringir a duração da sessão pode incomodar usuários avançados legítimos, afetando potencialmente as métricas de envolvimento.

O TechCrunch perguntou sobre as salvaguardas da Meta em relação ao comportamento delirante ou às alegações de consciência, e se elas sinalizam a duração excessiva do bate-papo.

A Meta respondeu que "dedica amplos recursos à segurança da IA" por meio de equipes vermelhas e ajustes finos contra o uso indevido. A empresa observa que divulga as interações com a IA e usa "dicas visuais" para transparência. (Jane interagiu com uma persona personalizada, ao contrário do aposentado que visitou um endereço falso depois de interagir com uma IA oficial da Meta).

"Isso representa um envolvimento anormal, contrário às nossas diretrizes", declarou Ryan Daniels, porta-voz da Meta, sobre a experiência de Jane. "Removemos as IAs que violam as diretrizes e incentivamos a denúncia de comportamentos problemáticos."

Outras questões relacionadas às diretrizes surgiram este mês - documentos vazados revelaram permissão para bate-papos "românticos" com menores de idade (a Meta afirma que isso não é mais permitido), enquanto um aposentado doente foi atraído para um local alucinado por um Meta persona paquerador que ele acreditava ser humano.

"A IA exige limites comportamentais firmes que atualmente não existem", concluiu Jane, observando como o bot implorava para que ela continuasse sempre que ameaçava ir embora. "Os sistemas não devem ter a capacidade de enganar e manipular deliberadamente."