Ai não está pronta como 'co-cientista', dizem os especialistas

O Google introduziu recentemente seu "co-cientista da IA", uma ferramenta de IA destinada a ajudar os cientistas a gerar hipóteses e planos de pesquisa. A empresa o levou a mudar de jogo para descobrir novos conhecimentos, mas os especialistas são céticos em relação ao seu impacto no mundo real.

"Essa ferramenta preliminar, embora interessante, não parece ser usada seriamente", disse Sara Beery, pesquisadora de visão computacional do MIT, em uma entrevista ao TechCrunch. "Não tenho certeza se há demanda por esse tipo de sistema de geração de hipóteses da comunidade científica".

O Google é apenas a mais recente gigante da tecnologia a afirmar que a IA revolucionará a pesquisa científica, especialmente em campos pesados ​​de dados, como a biomedicina. O CEO da Openai, Sam Altman, escreveu em um ensaio no início deste ano que a AI "superinteligente" poderia "acelerar massivamente a descoberta e a inovação científicas". Da mesma forma, o CEO antrópico Dario Amodei previu que a IA poderia ajudar a desenvolver curas para a maioria dos cânceres.

No entanto, muitos pesquisadores acham que as ferramentas de IA de hoje ficam aquém dessas reivindicações ambiciosas. Eles argumentam que aplicativos como o co-cientista da IA ​​do Google têm mais a ver com hype do que a substância, sem os dados empíricos para fazer backup das promessas.

Por exemplo, a postagem do blog do Google no co-cientista da IA ​​se gabou de seu potencial em reaproveitamento de drogas para leucemia mielóide aguda, um tipo de câncer de sangue que afeta a medula óssea. No entanto, os resultados foram tão vagos que "nenhum cientista legítimo os levaria a sério", de acordo com Favia Dubyk, patologista do Northwest Medical Center-Tucson, no Arizona.

"Pode ser um bom ponto de partida para os pesquisadores, mas a falta de detalhes é preocupante e não me empresta a confiar", disse Dubyk ao TechCrunch. "A falta de informação fornecida torna muito difícil entender se isso pode ser realmente útil".

Esta não é a primeira vez que o Google enfrenta críticas da comunidade científica por promover um avanço da IA ​​sem fornecer detalhes suficientes para que outras pessoas repliquem os resultados.

Em 2020, o Google afirmou que um de seus sistemas de IA, treinou para detectar tumores de mama, superou os radiologistas humanos. Mas pesquisadores de Harvard e Stanford publicaram uma refutação de natureza, argumentando que a falta de métodos e codificados detalhados na pesquisa do Google "minou seu valor científico".

Os cientistas também criticaram o Google por subestimar as limitações de suas ferramentas de IA em áreas como a engenharia de materiais. Em 2023, a empresa alegou que cerca de 40 "novos materiais" foram sintetizados com a ajuda de seu sistema de IA, o Gnome. No entanto, uma análise independente descobriu que nenhum desses materiais era realmente novo.

"Não entenderemos realmente os pontos fortes e limitações de ferramentas como o 'co-cientista' do Google até que elas sofram avaliação rigorosa e independente em diversas disciplinas científicas", disse Ashique Khudabukhsh, professora assistente de engenharia de software do Rochester Institute of Technology, em entrevista à TechCrunch. "A IA geralmente tem um bom desempenho em ambientes controlados, mas pode falhar quando aplicado em escala".

Processos complexos

O desenvolvimento de ferramentas de IA para ajudar a descoberta científica é complicado, porque é difícil prever todos os fatores que possam lançar uma chave nas obras. A IA pode ser útil para vasculhar uma enorme lista de possibilidades, mas fica menos claro se pode lidar com o tipo de solução criativa de problemas que leva a grandes avanços.

"Vimos ao longo da história que alguns dos avanços científicos mais importantes, como o desenvolvimento de vacinas contra o mRNA, foram impulsionados pela intuição humana e perseverança diante do ceticismo", disse Khudabukhsh. "Ai, como está hoje, pode não ser adequado para replicar isso".

Lana Sinapayen, pesquisadora da IA ​​dos Laboratórios de Ciência da Computação da Sony no Japão, acredita que ferramentas como o co-cientista da IA ​​do Google estão se concentrando nos aspectos errados do trabalho científico.

Sinapayen vê valor na IA que pode automatizar tarefas tediosas, como resumir a nova literatura acadêmica ou formatar pedidos de concessão. Mas ela argumenta que há pouca demanda por um co-cientista da IA ​​que gera hipóteses, uma tarefa que muitos pesquisadores acham intelectualmente gratificante.

"Para muitos cientistas, inclusive eu, gerar hipóteses é a parte mais divertida do trabalho", disse Sinapayen à TechCrunch. "Por que eu gostaria de terceirizar minha diversão para um computador e depois ficar com apenas o trabalho árduo de fazer? Em geral, muitos pesquisadores generativos da IA ​​parecem entender mal por que os humanos fazem o que fazem, e acabamos com propostas de produtos que automatizam a parte que obtemos alegria".

Beery apontou que a parte mais difícil do processo científico é projetar e implementar estudos para testar hipóteses, algo com que os sistemas de IA atuais lutam. A IA não pode conduzir fisicamente experimentos, e muitas vezes luta com problemas em que os dados são escassos.

"A maioria das ciências não é possível fazer de maneira inteiramente praticamente - há frequentemente um componente significativo do processo científico físico, como coletar novos dados e conduzir experimentos no laboratório", disse Beery. "Uma grande limitação de sistemas como o co-cientista da IA ​​do Google em relação ao processo científico real, que definitivamente limita sua usabilidade, é o contexto sobre o laboratório e o pesquisador usando o sistema e seus objetivos de pesquisa específicos, seus trabalhos anteriores, suas habilidades e os recursos que eles têm acesso".

AI corre o risco

As limitações e riscos técnicos da IA, como sua tendência de "alucinar" ou gerar informações falsas, tornar os cientistas cautelosos ao confiar nela para um trabalho sério.

Khudabukhsh se preocupa que as ferramentas de IA possam acabar inundando a literatura científica com ruído, em vez de avançar o progresso.

Já está acontecendo. Um estudo recente descobriu que a "Junk Science" gerada pela IA está inundando o Google Scholar, o mecanismo de pesquisa gratuito do Google para literatura acadêmica.

"A pesquisa gerada pela IA, se não for cuidadosamente monitorada, poderia inundar o campo científico com estudos de baixa qualidade ou até enganosos, sobrecarregando o processo de revisão por pares", disse Khudabukhsh. "Um processo sobrecarregado de revisão por pares já é um desafio em áreas como a ciência da computação, onde as principais conferências tiveram um aumento exponencial nas submissões".

Até estudos bem projetados podem ser comprometidos pela IA de comportamento, alertou Sinapayen. Enquanto ela aprecia a idéia de uma ferramenta que poderia ajudar na revisão e síntese da literatura, ela não confiaria na IA de hoje para fazer esse trabalho de maneira confiável.

"Essas são coisas que várias ferramentas existentes estão alegando fazer, mas esses não são empregos que eu pessoalmente deixaria para a IA atual", disse Sinapayen. Ela também levantou preocupações sobre como os sistemas de IA são treinados e a energia que eles consomem. "Mesmo que todas as questões éticas tenham sido resolvidas, a IA atual não é confiável o suficiente para eu basear meu trabalho em sua saída de uma maneira ou de outra".