Ai não está pronta como 'co-cientista', dizem os especialistas

A Google recentemente apresentou seu "co-cientista de IA", uma ferramenta de IA destinada a ajudar cientistas a gerar hipóteses e planos de pesquisa. A empresa promoveu-a como uma mudança de jogo para descobrir novos conhecimentos, mas especialistas estão céticos sobre seu impacto no mundo real.

"Esta ferramenta preliminar, embora interessante, não parece provável que seja usada seriamente," disse Sara Beery, pesquisadora de visão computacional no MIT, em uma entrevista para o TechCrunch. "Não tenho certeza de que haja demanda por esse tipo de sistema de geração de hipóteses na comunidade científica."

A Google é apenas a mais recente gigante tecnológica a afirmar que a IA revolucionará a pesquisa científica, especialmente em campos intensivos em dados como a biomedicina. O CEO da OpenAI, Sam Altman, escreveu em um ensaio no início deste ano que uma IA "superinteligente" poderia "acelerar massivamente a descoberta e inovação científica". Da mesma forma, o CEO da Anthropic, Dario Amodei, previu que a IA poderia ajudar a desenvolver curas para a maioria dos cânceres.

No entanto, muitos pesquisadores sentem que as ferramentas de IA atuais não cumprem essas alegações ambiciosas. Eles argumentam que aplicações como o co-cientista de IA da Google são mais sobre exagero do que substância, faltando dados empíricos para respaldar as promessas.

Por exemplo, o post do blog da Google sobre o co-cientista de IA vangloriou-se de seu potencial na reutilização de medicamentos para leucemia mieloide aguda, um tipo de câncer de sangue que afeta a medula óssea. No entanto, os resultados foram tão vagos que "nenhum cientista legítimo os levaria a sério," segundo Favia Dubyk, patologista no Northwest Medical Center-Tucson, no Arizona.

"Pode ser um bom ponto de partida para pesquisadores, mas a falta de detalhes é preocupante e não me leva a confiar nisso," disse Dubyk ao TechCrunch. "A falta de informações fornecidas torna realmente difícil entender se isso pode ser verdadeiramente útil."

Esta não é a primeira vez que a Google enfrenta críticas da comunidade científica por promover um avanço de IA sem fornecer detalhes suficientes para que outros repliquem os resultados.

Em 2020, a Google afirmou que um de seus sistemas de IA, treinado para detectar tumores de mama, superou radiologistas humanos. Mas pesquisadores de Harvard e Stanford publicaram uma refutação na Nature, argumentando que a falta de métodos detalhados e código na pesquisa da Google "minou seu valor científico."

Cientistas também criticaram a Google por minimizar as limitações de suas ferramentas de IA em campos como engenharia de materiais. Em 2023, a empresa afirmou que cerca de 40 "novos materiais" foram sintetizados com a ajuda de seu sistema de IA, GNoME. No entanto, uma análise independente descobriu que nenhum desses materiais era realmente novo.

"Não entenderemos verdadeiramente os pontos fortes e limitações de ferramentas como o 'co-cientista' da Google até que passem por uma avaliação rigorosa e independente em diversas disciplinas científicas," disse Ashique KhudaBukhsh, professor assistente de engenharia de software no Rochester Institute of Technology, em uma entrevista para o TechCrunch. "A IA frequentemente tem bom desempenho em ambientes controlados, mas pode falhar quando aplicada em escala."

Processos Complexos

Desenvolver ferramentas de IA para auxiliar na descoberta científica é complicado porque é difícil prever todos os fatores que podem atrapalhar. A IA pode ser útil para filtrar uma enorme lista de possibilidades, mas não está claro se ela pode lidar com o tipo de resolução criativa de problemas que leva a grandes avanços.

"Vimos ao longo da história que alguns dos avanços científicos mais importantes, como o desenvolvimento de vacinas de mRNA, foram impulsionados pela intuição humana e perseverança diante do ceticismo," disse KhudaBukhsh. "A IA, como está hoje, pode não ser adequada para replicar isso."

Lana Sinapayen, pesquisadora de IA nos Sony Computer Science Laboratories no Japão, acredita que ferramentas como o co-cientista de IA da Google estão focando nos aspectos errados do trabalho científico.

Sinapayen vê valor em IA que pode automatizar tarefas tediosas, como resumir nova literatura acadêmica ou formatar pedidos de bolsas. Mas ela argumenta que há pouca demanda por um co-cientista de IA que gere hipóteses, uma tarefa que muitos pesquisadores consideram intelectualmente gratificante.

"Para muitos cientistas, incluindo eu mesma, gerar hipóteses é a parte mais divertida do trabalho," disse Sinapayen ao TechCrunch. "Por que eu gostaria de terceirizar minha diversão para um computador e ficar apenas com o trabalho árduo para fazer sozinha? Em geral, muitos pesquisadores de IA generativa parecem não entender por que os humanos fazem o que fazem, e acabamos com propostas de produtos que automatizam exatamente a parte da qual tiramos prazer."

Beery destacou que a parte mais difícil do processo científico é frequentemente projetar e implementar estudos para testar hipóteses, algo com que os sistemas de IA atuais têm dificuldade. A IA não pode realizar experimentos fisicamente, e muitas vezes enfrenta problemas onde os dados são escassos.

"A maior parte da ciência não é possível de ser feita inteiramente virtualmente — frequentemente há um componente significativo do processo científico que é físico, como coletar novos dados e realizar experimentos no laboratório," disse Beery. "Uma grande limitação de sistemas como o co-cientista de IA da Google em relação ao processo científico real, que definitivamente limita sua usabilidade, é o contexto sobre o laboratório e o pesquisador que usa o sistema, seus objetivos de pesquisa específicos, seu trabalho anterior, suas habilidades e os recursos aos quais têm acesso."

Riscos da IA

As limitações técnicas e os riscos da IA, como sua tendência a "alucinar" ou gerar informações falsas, tornam os cientistas cautelosos em confiar nela para trabalhos sérios.

KhudaBukhsh teme que ferramentas de IA possam acabar inundando a literatura científica com ruído em vez de avançar o progresso.

Isso já está acontecendo. Um estudo recente descobriu que "ciência lixo" gerada por IA está inundando o Google Scholar, o motor de busca gratuito da Google para literatura acadêmica.

"Pesquisas geradas por IA, se não forem cuidadosamente monitoradas, podem inundar o campo científico com estudos de baixa qualidade ou até enganosos, sobrecarregando o processo de revisão por pares," disse KhudaBukhsh. "Um processo de revisão por pares sobrecarregado já é um desafio em campos como ciência da computação, onde conferências de ponta viram um aumento exponencial de submissões."

Mesmo estudos bem projetados podem ser comprometidos por uma IA que se comporta mal, alertou Sinapayen. Embora ela aprecie a ideia de uma ferramenta que possa ajudar com revisão e síntese de literatura, ela não confiaria na IA atual para fazer esse trabalho de forma confiável.

"Essas são coisas que várias ferramentas existentes afirmam fazer, mas não são trabalhos que eu pessoalmente deixaria para a IA atual," disse Sinapayen. Ela também levantou preocupações sobre como os sistemas de IA são treinados e a energia que consomem. "Mesmo que todas as questões éticas fossem resolvidas, a IA atual simplesmente não é confiável o suficiente para que eu baseie meu trabalho em sua produção de uma forma ou de outra."