O papel gerado pela IA passa a revisão por pares, afirma Sakana, mas os detalhes são sutis

A startup japonesa de IA Sakana recentemente causou impacto ao afirmar que seu sistema de IA, The AI Scientist-v2, gerou uma das primeiras publicações científicas revisadas por pares. No entanto, há alguns detalhes importantes a considerar antes de ficarmos muito animados.

O debate sobre o papel da IA na ciência está se intensificando. Alguns pesquisadores acreditam que a IA ainda não está pronta para ser uma "co-cientista", enquanto outros veem potencial, mas reconhecem que ainda estamos nos estágios iniciais. Sakana pertence a este último grupo.

A empresa usou o The AI Scientist-v2 para criar um artigo que foi submetido a um workshop na ICLR, uma conferência de IA bem respeitada. Sakana colaborou com a Universidade da Colúmbia Britânica e a Universidade de Oxford para submeter três artigos gerados por IA a este workshop. A IA lidou com tudo, desde hipóteses até experimentos, código, análise de dados, visualizações e até os títulos.

"Geramos ideias de pesquisa fornecendo o resumo e a descrição do workshop para a IA", disse Robert Lange, cientista de pesquisa e membro fundador da Sakana, ao TechCrunch por e-mail. "Isso garantiu que os artigos gerados fossem relevantes e submissões adequadas."

Um dos três artigos foi aceito pelo workshop da ICLR. Ele se concentrou em criticar técnicas de treinamento para modelos de IA. No entanto, Sakana retirou o artigo antes que pudesse ser publicado, citando transparência e respeito pelas convenções da ICLR.

Mas não vamos nos empolgar ainda. Sakana admitiu em seu post de blog que sua IA cometeu alguns erros de citação "embaraçosos", como atribuir um método a um artigo de 2016 em vez do trabalho original de 1997.

Além disso, o artigo não passou por tanto escrutínio quanto outras publicações revisadas por pares. Ele foi retirado após a revisão inicial por pares, então não recebeu uma "meta-revisão" dos organizadores do workshop, que poderiam tê-lo rejeitado.

Outra coisa a ter em mente é que os workshops de conferências muitas vezes têm taxas de aceitação mais altas do que a trilha principal da conferência. Sakana mencionou isso em seu post de blog e observou que nenhum de seus estudos gerados por IA atendeu aos seus padrões internos para a trilha da conferência ICLR.

Matthew Guzdial, pesquisador de IA e professor assistente na Universidade de Alberta, chamou os resultados da Sakana de "um pouco enganosos".

"Os folks da Sakana selecionaram os artigos de um número de gerados, o que significa que estavam usando julgamento humano para escolher saídas que achavam que poderiam ser aceitas", disse ele por e-mail. "O que acho que isso mostra é que humanos mais IA podem ser eficazes, não que a IA sozinha pode criar progresso científico."

Mike Cook, pesquisador associado no King's College London especializado em IA, questionou o rigor dos revisores por pares e do workshop.

"Workshops novos, como este, muitas vezes são revisados por pesquisadores mais juniores", disse ele ao TechCrunch. "Também vale notar que este workshop é sobre resultados negativos e dificuldades — o que é ótimo, já organizei um workshop semelhante antes — mas é discutível que seja mais fácil fazer uma IA escrever de forma convincente sobre um fracasso."

Cook não ficou surpreso que uma IA pudesse passar pela revisão por pares, dado que a IA é boa em escrever prosa que soa humana. Ele apontou que artigos parcialmente gerados por IA passando pela revisão de revistas não é novidade, e isso levanta questões éticas para a comunidade científica.

Os problemas técnicos da IA, como sua tendência a "alucinar", tornam muitos cientistas cautelosos sobre usá-la para trabalhos sérios. Há também o medo de que a IA possa apenas adicionar ruído à literatura científica, em vez de avançar o conhecimento.

"Precisamos nos perguntar se o resultado da [Sakana] é sobre o quão boa a IA é em projetar e conduzir experimentos, ou se é sobre o quão boa ela é em vender ideias para humanos — o que já sabemos que a IA é ótima nisso", disse Cook. "Há uma diferença entre passar pela revisão por pares e contribuir com conhecimento para um campo."

Para o crédito da Sakana, eles não afirmam que sua IA pode produzir trabalho científico inovador ou particularmente novo. Seu objetivo foi "estudar a qualidade da pesquisa gerada por IA" e destacar a necessidade de "normas em relação à ciência gerada por IA".

"Há questões difíceis sobre se a ciência [gerada por IA] deve ser julgada por seus próprios méritos primeiro para evitar viés contra ela", escreveu a empresa. "Seguindo em frente, continuaremos a trocar opiniões com a comunidade de pesquisa sobre o estado dessa tecnologia para garantir que ela não se desenvolva em uma situação no futuro onde seu único propósito seja passar pela revisão por pares, comprometendo substancialmente o significado do processo de revisão por pares científico."