Os chatbots distorcem notícias, impactando até usuários pagos

Por que isso importa? Se os chatbots não conseguem nem mesmo recuperar notícias tão bem quanto o Google, é difícil confiar que eles interpretarão e citarão essas notícias com precisão. Isso torna o conteúdo de suas respostas, mesmo quando vinculadas, muito menos confiável.

Respondendo Erroneamente com Confiança

Os pesquisadores observaram que os chatbots retornaram respostas erradas com uma "confiança alarmante", raramente qualificando seus resultados ou admitindo lacunas de conhecimento. O ChatGPT, por exemplo, "nunca se recusou a fornecer uma resposta", apesar de 134 de suas 200 respostas estarem incorretas. De todos os oito ferramentas, o Copilot foi o único que se recusou a responder mais perguntas do que respondeu.

"Todas as ferramentas foram consistentemente mais propensas a fornecer uma resposta incorreta do que a reconhecer limitações", esclareceu o relatório.

Níveis Pagos Não São Mais Confiáveis

Mesmo modelos premium como Grok-3 Search e Perplexity Pro, embora mais precisos que suas contrapartes gratuitas, ainda forneceram respostas erradas com confiança. Isso levanta questões sobre o valor de seus custos de assinatura, muitas vezes altos.

"Essa contradição decorre principalmente da tendência [dos bots] de fornecer respostas definitivas, mas erradas, em vez de se recusarem a responder diretamente à pergunta", explica o relatório. "A preocupação fundamental vai além dos erros factuais dos chatbots até seu tom de conversa autoritário, que pode dificultar para os usuários distinguir entre informações precisas e imprecisas."

"Essa confiança não merecida apresenta aos usuários uma ilusão potencialmente perigosa de confiabilidade e precisão", acrescentou o relatório.

Fabricando Links

Modelos de IA são notórios por alucinar, mas o estudo Tow descobriu que Gemini e Grok 3 o fizeram com mais frequência — mais da metade do tempo. "Mesmo quando o Grok identificou corretamente um artigo, muitas vezes vinculou a uma URL fabricada", observou o relatório, o que significa que o Grok poderia encontrar o título e o editor corretos, mas depois fabricar o link real do artigo.

Uma análise de dados de tráfego da Comscore pela iniciativa Generative AI in the Newsroom, da Universidade Northwestern, confirmou esse padrão. Seu estudo de julho a novembro de 2024 mostrou que o ChatGPT gerou 205 URLs quebrados em suas respostas. Embora as publicações ocasionalmente retirem histórias, o que pode resultar em erros 404, os pesquisadores observaram que a falta de dados de arquivo sugeria que "o modelo alucinava links plausíveis para meios de comunicação confiáveis ao responder às perguntas dos usuários."

Dada a crescente adoção de motores de busca de IA — o Google caiu abaixo de 90% de participação de mercado no quarto trimestre de 2024 pela primeira vez em 10 anos — essas descobertas são preocupantes. A empresa também lançou o AI Mode para certos usuários na última semana, substituindo sua busca normal por um chatbot, apesar da impopularidade generalizada de seus AI Overviews.

Com cerca de 400 milhões de usuários acessando o ChatGPT semanalmente, a falta de confiabilidade e a distorção de suas citações tornam ele e outras ferramentas de IA populares potenciais motores de desinformação, mesmo quando extraem conteúdo de sites de notícias rigorosamente verificados.

O relatório Tow concluiu que ferramentas de IA que atribuem fontes incorretamente ou representam mal seu trabalho podem prejudicar a reputação dos editores.

Ignorando Rastreadores Bloqueados

A situação piora para os editores, pois o relatório Tow descobriu que vários chatbots ainda podiam recuperar artigos de editores que haviam bloqueado seus rastreadores usando o Protocolo de Exclusão de Robôs (REP), ou robots.txt. Paradoxalmente, no entanto, os chatbots falharam em responder corretamente a perguntas sobre sites que permitem o acesso ao seu conteúdo.

"O Perplexity Pro foi o pior infrator nesse aspecto, identificando corretamente quase um terço dos noventa trechos de artigos aos quais não deveria ter acesso", afirma o relatório.

Isso sugere que não apenas as empresas de IA ainda estão ignorando o REP — como Perplexity e outras foram flagradas fazendo no último ano — mas que os editores em qualquer tipo de acordo de licenciamento com eles não têm garantia de serem citados corretamente.

O relatório da Columbia é apenas um sintoma de um problema maior. O relatório Generative AI in the Newsroom também descobriu que os chatbots raramente direcionam tráfego para os sites de notícias dos quais extraem informações, o que outros relatórios confirmam. De julho a novembro de 2024, o Perplexity passou 7% das referências para sites de notícias, enquanto o ChatGPT passou apenas 3%. Em comparação, as ferramentas de IA tenderam a favorecer recursos educacionais como Scribd.com, Coursera e aqueles ligados a universidades, enviando até 30% do tráfego para eles.

A conclusão: A cobertura original continua sendo uma fonte de notícias mais confiável do que o que as ferramentas de IA regurgitam. Sempre verifique os links antes de aceitar o que eles dizem como fato e use suas habilidades de pensamento crítico e alfabetização midiática para avaliar as respostas.