Chatbots Distort News, Impacting Even Paid Users

Por que isso importa? Se os chatbots não conseguem recuperar notícias e o Google, é difícil confiar neles para interpretar e citar essas notícias com precisão. Isso torna o conteúdo de suas respostas, mesmo quando vinculado, muito menos confiável.

Dando respostas erradas com confiança

Os pesquisadores observaram que os chatbots retornaram respostas erradas com "confiança alarmante", raramente qualificando seus resultados ou admitindo lacunas de conhecimento. O ChatGPT, por exemplo, "nunca se recusou a fornecer uma resposta", apesar de 134 de suas 200 respostas estarem incorretas. Das oito ferramentas, a Copilot foi a única que se recusou a responder mais perguntas do que respondeu.

"Todas as ferramentas eram consistentemente mais propensas a fornecer uma resposta incorreta do que reconhecer as limitações", esclareceu o relatório.

As camadas pagas não são mais confiáveis

Mesmo modelos premium como Grok-3 Search e Perplexity Pro, embora mais precisos do que seus colegas gratuitos, ainda com confiança deram respostas erradas. Isso levanta questões sobre o valor de seus altos custos de assinatura.

"Essa contradição decorre principalmente da tendência [dos bots] de fornecer respostas definitivas, mas erradas, em vez de se recusar a responder diretamente à pergunta", explica o relatório. "A preocupação fundamental se estende além dos erros factuais dos chatbots ao seu tom de conversação autoritário, o que pode dificultar a distinção entre informações precisas e imprecisas".

"Essa confiança não merecida apresenta aos usuários uma ilusão potencialmente perigosa de confiabilidade e precisão", acrescentou o relatório.

Links de fabricação

Os modelos de IA são notórios por alucinar, mas o estudo de reboque descobriu que Gemini e Grok 3 o fizeram com mais frequência - mais da metade do tempo. "Mesmo quando Grok identificou corretamente um artigo, ele frequentemente vinculado a um URL fabricado", observou o relatório, o que significa que Grok poderia encontrar o título e o editor certo, mas depois fabricar o link de artigo real.

Uma análise dos dados de tráfego da COMSCORE por IA generativa na redação, uma iniciativa da Northwestern University, confirmou esse padrão. Seu estudo de julho a novembro de 2024 mostrou que o ChatGPT gerou 205 URLs quebrados em suas respostas. Embora as publicações ocasionalmente retirem histórias, o que pode resultar em 404 erros, os pesquisadores observaram que a falta de dados de arquivo sugeriu "o modelo tem links alucinados de aparência plausível para meios de notícias autoritários ao responder às consultas do usuário".

Dada a crescente adoção de mecanismos de busca de IA - o Google caiu abaixo de 90% de participação de mercado no quarto trimestre de 2024 pela primeira vez em 10 anos - essas descobertas são preocupantes. A empresa também divulgou o modo AI para certos usuários na semana passada, substituindo sua pesquisa normal por um chatbot, apesar da impopularidade desenfreada de suas visões gerais de IA.

Com cerca de 400 milhões de usuários reunidos para o ChatGPT Weekly, a falta de confiabilidade e a distorção de suas citações tornam-a e de outros mecanismos de desinformação potencial de ferramentas de IA, mesmo quando retiram o conteúdo de sites de notícias rigorosamente verificados por fatos.

O relatório de reboque concluiu que as ferramentas de IA de crédito incorretamente ou representando incorretamente seu trabalho podem sair pela culatra na reputação dos editores.

Ignorando rastreadores bloqueados

A situação piora para os editores, pois o relatório de reboque constatou que vários chatbots ainda podiam recuperar artigos de editores que haviam bloqueado seus rastreadores usando o Robots Exclusão Protocol (REP) ou robots.txt. Paradoxalmente, no entanto, os chatbots falharam em responder corretamente às consultas sobre sites que lhes permitem acessar seu conteúdo.

"Perplexity Pro foi o pior infrator nesse sentido, identificando corretamente quase um terço dos noventa trechos dos artigos aos quais não deveria ter acesso", afirma o relatório.

Isso sugere que não apenas as empresas de IA ainda ignoram o representante - como a perplexidade e outras foram pegas no ano passado - mas que os editores em qualquer tipo de contrato de licenciamento com elas não tenham certeza corretamente.

O relatório de Columbia é apenas um sintoma de um problema maior. A IA generativa no relatório da redação também descobriu que os chatbots raramente direcionam o tráfego para os sites de notícias que estão extraindo informações, que outros relatórios confirmam. De julho a novembro de 2024, a perplexidade passou 7% dos referências para sites de notícias, enquanto o ChatGPT passou apenas 3%. Em comparação, as ferramentas de IA tendiam a favorecer recursos educacionais como Scribd.com, Coursera e aqueles anexados às universidades, enviando até 30% do tráfego.

Conclusão: os relatórios originais continuam sendo uma fonte de notícias mais confiável do que o que as ferramentas de IA regurgitam. Sempre verifique os links antes de aceitar o que eles dizem como fato e use suas habilidades críticas de pensamento e alfabetização da mídia para avaliar as respostas.