O papel gerado pela IA passa a revisão por pares, afirma Sakana, mas os detalhes são sutis

A startup japonesa de IA Sakana fez recentemente ondas, alegando que seu sistema de IA, o cientista da IA-V2, gerou uma das primeiras publicações científicas revisadas por pares. No entanto, existem alguns detalhes importantes a serem considerados antes de ficarmos muito animados.

O debate sobre o papel da IA ​​na ciência está esquentando. Alguns pesquisadores acreditam que a IA não está pronta para ser um "co-cientista", enquanto outros veem potencial, mas reconhecem que ainda estamos nos estágios iniciais. Sakana cai no último grupo.

A empresa usou o Scientist-V2 da IA ​​para criar um artigo submetido a um workshop na ICLR, uma conferência de IA bem respeitada. Sakana trabalhou com a Universidade da Colúmbia Britânica e a Universidade de Oxford para enviar três artigos gerados pela IA para este workshop. A IA lidou com tudo, desde hipóteses a experimentos, código, análise de dados, visualizações e até títulos.

"Geramos idéias de pesquisa fornecendo o resumo e a descrição do workshop à IA", disse Robert Lange, cientista de pesquisa e membro fundador da Sakana, ao TechCrunch por e -mail. "Isso garantiu que os documentos gerados estivessem sobre o tópico e envios adequados".

Um dos três artigos foi aceito pela oficina do ICLR. Ele se concentrou em criticar técnicas de treinamento para os modelos de IA. No entanto, Sakana retirou o jornal antes de poder ser publicado, citando transparência e respeito pelas convenções da ICLR.

Mas ainda não vamos nos levar embora. Sakana admitiu em seu blog post que sua IA cometeu alguns erros de citação "embaraçosos", como atribuir um método a um artigo de 2016 em vez do trabalho original de 1997.

Além disso, o artigo não passou por tanto escrutínio quanto outras publicações revisadas por pares. Foi retirado após a revisão inicial dos pares, por isso não recebeu uma "meta-revisão" dos organizadores do workshop, que poderiam ter rejeitado.

Outra coisa a ter em mente é que os workshops da conferência geralmente têm taxas de aceitação mais altas do que a principal pista de conferência. Sakana mencionou isso em sua postagem no blog e observou que nenhum de seus estudos gerados pela IA atendeu aos padrões internos para a pista da conferência do ICLR.

Matthew Guzdial, pesquisador de IA e professor assistente da Universidade de Alberta, chamou os resultados de Sakana de "um pouco enganosos".

"O pessoal da Sakana selecionou os documentos de algum número de outros gerados, o que significa que eles estavam usando o julgamento humano em termos de escolher saídas que eles achavam que poderia entrar", disse ele por e -mail. "O que eu acho que isso mostra é que os humanos mais a IA podem ser eficazes, não que a IA sozinha possa criar progresso científico".

Mike Cook, pesquisador do King's College London, especializado em IA, questionou o rigor dos revisores e workshop de pares.

"Novos workshops, como este, são frequentemente revisados ​​por pesquisadores mais juniores", disse ele ao TechCrunch. "Também vale a pena notar que este workshop é sobre resultados e dificuldades negativas - o que é ótimo, já publiquei um workshop semelhante antes - mas é sem dúvida mais fácil conseguir uma IA escrever sobre um fracasso de forma convincente".

Cook não ficou surpreso que uma IA pudesse passar pela revisão por pares, já que a IA é boa em escrever prosa que soa humana. Ele ressaltou que os artigos parcialmente gerados pela IA que passam pela revisão do diário não são novos e levanta questões éticas para a comunidade científica.

Os problemas técnicos da IA, como sua tendência de "alucinar", tornam muitos cientistas cautelosos ao usá -lo para um trabalho sério. Há também um medo de que a IA possa simplesmente adicionar ruído à literatura científica, em vez de promover o conhecimento.

"Precisamos nos perguntar se o resultado de [Sakana] é sobre o quão boa é a IA em projetar e conduzir experimentos, ou se é sobre o quão bom é a venda de idéias para os seres humanos - nos quais sabemos que a IA já é ótima", disse Cook. "Há uma diferença entre passar por revisão por pares e contribuir com conhecimento para um campo".

Para crédito de Sakana, eles não afirmam que sua IA pode produzir um trabalho científico inovador ou até particularmente novo. Seu objetivo era "estudar a qualidade da pesquisa gerada pela IA" e destacar a necessidade de "normas em relação à ciência gerada pela IA".

"Há perguntas difíceis sobre se a ciência [gerada pela IA] deve ser julgada por seus próprios méritos primeiro para evitar preconceitos contra ela", escreveu a empresa. "No futuro, continuaremos a trocar opiniões com a comunidade de pesquisa sobre o estado dessa tecnologia para garantir que ela não se desenvolva em uma situação no futuro em que seu único objetivo é passar na revisão por pares, minando substancialmente o significado do processo de revisão científica por pares".