Startups de IA criticadas por usar a revisão por pares como tática de relações públicas

Uma tempestade está se formando no mundo acadêmico devido ao uso de estudos gerados por IA na conferência ICLR deste ano, um evento importante focado em inteligência artificial. Três laboratórios de IA, Sakana, Intology e Autoscience, geraram polêmica ao submeterem estudos gerados por IA para workshops do ICLR.

Sakana adotou uma abordagem transparente, informando os líderes do ICLR e obtendo consentimento dos revisores antes de submeter seus artigos gerados por IA. No entanto, Intology e Autoscience não seguiram o mesmo caminho, submetendo seus estudos sem notificação prévia, conforme confirmado por um porta-voz do ICLR à TechCrunch.

A comunidade acadêmica tem se manifestado nas redes sociais, com muitos criticando Intology e Autoscience por explorarem o processo de revisão por pares. Prithviraj Ammanabrolu, professor assistente na UC San Diego, expressou sua frustração no X, destacando a falta de consentimento dos revisores que dedicam seu tempo e esforço gratuitamente. Ele defendeu a divulgação completa aos editores sobre o uso de IA na geração desses estudos.

A revisão por pares já é uma tarefa exigente, com uma recente pesquisa da Nature indicando que 40% dos acadêmicos gastam de duas a quatro horas revisando um único estudo. A carga de trabalho está aumentando, como evidenciado pelo aumento de 41% nas submissões à conferência NeurIPS no último ano, totalizando 17.491 artigos.

A questão do conteúdo gerado por IA na academia não é nova, com estimativas sugerindo que entre 6,5% e 16,9% dos artigos submetidos a conferências de IA em 2023 continham texto sintético. No entanto, usar a revisão por pares como meio de avaliar e promover tecnologia de IA é um desenvolvimento mais recente.

Intology se vangloriou por receber revisões unanimemente positivas para seus artigos gerados por IA no X, até mesmo citando revisores de workshops que elogiaram as "ideias inteligentes" em um de seus estudos. Essa autopromoção não foi bem recebida pelos acadêmicos.

Ashwinee Panda, pós-doutoranda na Universidade de Maryland, criticou a falta de respeito aos revisores humanos ao submeter artigos gerados por IA sem seu consentimento. Panda destacou que Sakana havia abordado seu workshop no ICLR, mas ela recusou participar, enfatizando a importância de respeitar o tempo e os direitos dos revisores.

O ceticismo sobre o valor dos artigos gerados por IA é generalizado entre os pesquisadores. Sakana reconheceu que sua IA cometeu erros de citação "embaraçosos" e que apenas um de seus três artigos submetidos teria atendido aos padrões da conferência. Em um movimento de transparência, Sakana retirou seu artigo do ICLR.

Alexander Doria, cofundador da startup de IA Pleias, sugeriu a necessidade de uma "empresa/agência pública regulamentada" para conduzir avaliações pagas e de alta qualidade de estudos gerados por IA. Ele argumentou que os pesquisadores deveriam ser totalmente compensados por seu tempo e que a academia não deveria ser usada como um recurso gratuito para avaliações de IA.