Lar
Estudo da Universidade Estadual de Washington revela as principais contradições do ChatGPT em julgamentos científicos complexos

Um estudo recente da Universidade do Estado de Washington (WSU) revela que, embora o ChatGPT responda com confiança, sua forma de lidar com afirmações científicas complexas se assemelha a adivinhações aleatórias. A pesquisa destaca não apenas a precisão limitada, mas também respostas contraditórias frequentes à mesma pergunta.
O professor Mesut Cicek e sua equipe extraíram 719 hipóteses de pesquisa de revistas especializadas em administração publicadas desde 2021 e as submeteram repetidamente ao modelo para verificação da veracidade.
Embora a precisão aparente do ChatGPT pareça estar em torno de 80%, após levar em conta as suposições aleatórias, seu desempenho real é apenas cerca de 60% melhor do que um lançamento de moeda com 50% de chance. Os pesquisadores classificaram isso como uma “nota baixa, D”. O modelo teve um desempenho especialmente ruim na identificação de afirmações falsas, julgando corretamente apenas 16,4% das proposições falsas.
Os pesquisadores submeteram cada hipótese ao modelo dez vezes e constataram que ele teve dificuldade em manter posições consistentes:
Flutuação nas respostas: em cerca de 73% dos casos, o modelo manteve conclusões consistentes ao longo das dez repetições.
Contradições extremas: em alguns casos, o modelo alternou entre respostas “verdadeiras” e “falsas”, com casos extremos em que metade era verdadeira e metade falsa, apesar de usar exatamente o mesmo prompt.
O estudo observa que os usuários são facilmente enganados pela linguagem fluente e persuasiva da IA, mas isso não indica uma capacidade genuína de raciocínio.
Ausência de compreensão verdadeira: O modelo se baseia na memória e na correspondência de padrões, ao contrário dos seres humanos, que compreendem genuinamente o mundo e o que estão dizendo.
Progresso limitado da versão: Os testes mostraram que o ChatGPT-5 mini atualizado (testado em 2025) teve desempenho semelhante ao das versões anteriores nessa tarefa específica, sem melhorias significativas.
Com base nessas descobertas, Cicek aconselha os gestores empresariais a manterem um alto grau de ceticismo ao tomar decisões complexas. Eles não devem considerar a IA generativa como uma “autoridade” capaz de substituir o julgamento profissional e devem verificar manualmente todas as respostas. As organizações devem aprimorar o treinamento para ajudar os funcionários a compreender tanto os pontos fortes quanto as limitações das ferramentas de IA, evitando vieses decisórios decorrentes da confiança cega.
Este estudo serve como mais um lembrete de que, apesar do rápido desenvolvimento da IA, as capacidades de raciocínio lógico profundo e de avaliação de evidências da tecnologia ainda precisam ser aprimoradas.
Artigo relacionado
Como corrigir as Core Web Vitals para melhores classificações de SEO
Top Ferramentas de IA para Converter Vídeo e Áudio em TextoSumário:IntroduçãoWeet.io - Converter Vídeo em TextoLegendas e Transcrições do YouTubeFigo.com - Conversão de Vídeo para Texto Mais RápidaBlack Box - Capturas de Tela da Conversão de Vídeo pa
Fábrica de Robôs Humanoides da Xiaopeng em Guangzhou Inicia Produção Experimental, com Previsão de Produção em Massa para 2026
O robô humanoide da Xiaopeng entrou em produção piloto em pequena escala na sua instalação de Guangzhou. A linha de produção em massa está atualmente em fase final de integração, sinalizando o início da contagem regressiva para a fabricação em larga
Musk pede que gigantes da IA realizem testes cruzados de modelos e convidem críticas de rivais
Durante a cimeira All-In, a 15 de setembro, Elon Musk, o indivíduo mais rico do mundo, participou remotamente por vídeo. Abordando a inteligência artificial, ele instou as principais empresas de IA a testarem mutuamente os modelos uns dos outros ante
Recomendações de tópicos especiais relacionados
Comentários (1)

Um estudo recente da Universidade do Estado de Washington (WSU) revela que, embora o ChatGPT responda com confiança, sua forma de lidar com afirmações científicas complexas se assemelha a adivinhações aleatórias. A pesquisa destaca não apenas a precisão limitada, mas também respostas contraditórias frequentes à mesma pergunta.
O professor Mesut Cicek e sua equipe extraíram 719 hipóteses de pesquisa de revistas especializadas em administração publicadas desde 2021 e as submeteram repetidamente ao modelo para verificação da veracidade.
Embora a precisão aparente do ChatGPT pareça estar em torno de 80%, após levar em conta as suposições aleatórias, seu desempenho real é apenas cerca de 60% melhor do que um lançamento de moeda com 50% de chance. Os pesquisadores classificaram isso como uma “nota baixa, D”. O modelo teve um desempenho especialmente ruim na identificação de afirmações falsas, julgando corretamente apenas 16,4% das proposições falsas.
Os pesquisadores submeteram cada hipótese ao modelo dez vezes e constataram que ele teve dificuldade em manter posições consistentes:
Flutuação nas respostas: em cerca de 73% dos casos, o modelo manteve conclusões consistentes ao longo das dez repetições.
Contradições extremas: em alguns casos, o modelo alternou entre respostas “verdadeiras” e “falsas”, com casos extremos em que metade era verdadeira e metade falsa, apesar de usar exatamente o mesmo prompt.
O estudo observa que os usuários são facilmente enganados pela linguagem fluente e persuasiva da IA, mas isso não indica uma capacidade genuína de raciocínio.
Ausência de compreensão verdadeira: O modelo se baseia na memória e na correspondência de padrões, ao contrário dos seres humanos, que compreendem genuinamente o mundo e o que estão dizendo.
Progresso limitado da versão: Os testes mostraram que o ChatGPT-5 mini atualizado (testado em 2025) teve desempenho semelhante ao das versões anteriores nessa tarefa específica, sem melhorias significativas.
Com base nessas descobertas, Cicek aconselha os gestores empresariais a manterem um alto grau de ceticismo ao tomar decisões complexas. Eles não devem considerar a IA generativa como uma “autoridade” capaz de substituir o julgamento profissional e devem verificar manualmente todas as respostas. As organizações devem aprimorar o treinamento para ajudar os funcionários a compreender tanto os pontos fortes quanto as limitações das ferramentas de IA, evitando vieses decisórios decorrentes da confiança cega.
Este estudo serve como mais um lembrete de que, apesar do rápido desenvolvimento da IA, as capacidades de raciocínio lógico profundo e de avaliação de evidências da tecnologia ainda precisam ser aprimoradas.
Como corrigir as Core Web Vitals para melhores classificações de SEO
Top Ferramentas de IA para Converter Vídeo e Áudio em TextoSumário:IntroduçãoWeet.io - Converter Vídeo em TextoLegendas e Transcrições do YouTubeFigo.com - Conversão de Vídeo para Texto Mais RápidaBlack Box - Capturas de Tela da Conversão de Vídeo pa
Fábrica de Robôs Humanoides da Xiaopeng em Guangzhou Inicia Produção Experimental, com Previsão de Produção em Massa para 2026
O robô humanoide da Xiaopeng entrou em produção piloto em pequena escala na sua instalação de Guangzhou. A linha de produção em massa está atualmente em fase final de integração, sinalizando o início da contagem regressiva para a fabricação em larga
Musk pede que gigantes da IA realizem testes cruzados de modelos e convidem críticas de rivais
Durante a cimeira All-In, a 15 de setembro, Elon Musk, o indivíduo mais rico do mundo, participou remotamente por vídeo. Abordando a inteligência artificial, ele instou as principais empresas de IA a testarem mutuamente os modelos uns dos outros ante











