Startups de IA criticadas por usar a revisão por pares como tática de relações públicas

# research # iclr

Uma tempestade está se formando no mundo acadêmico sobre o uso de estudos gerados pela IA na conferência ICLR deste ano, um grande evento focado na inteligência artificial. Três laboratórios de IA, Sakana, Intology e Autoscience, provocaram controvérsia ao enviar estudos gerados pela IA para workshops da ICLR. Sakana adotou uma abordagem transparente, informando os líderes da ICLR e obtendo consentimento de revisores de pares antes de enviar seus artigos gerados pela IA. No entanto, a intologia e a autociência não seguiram o exemplo, enviando seus estudos sem notificação prévia, conforme confirmado por um porta -voz do ICLR ao TechCrunch. A comunidade acadêmica tem sido vocal nas mídias sociais, com muitos criticando a inteologia e a autociência para explorar o processo de revisão por pares. Prithviraj Ammanabrolu, professor assistente da UC San Diego, expressou sua frustração em X, destacando a falta de consentimento dos revisores que fornecem seu tempo e esforço de graça. Ele pediu divulgação completa aos editores sobre o uso da IA ​​na geração desses estudos. A revisão por pares já é uma tarefa exigente, com uma pesquisa natural recente indicando que 40% dos acadêmicos passam duas a quatro horas revisando um único estudo. A carga de trabalho está aumentando, conforme evidenciado pelo aumento de 41% nas submissões na Conferência Neurips no ano passado, totalizando 17.491 artigos. A questão do conteúdo gerada pela IA na academia não é nova, com estimativas sugerindo que entre 6,5% e 16,9% dos trabalhos submetidos a conferências de IA em 2023 continham texto sintético. No entanto, usar a revisão por pares como um meio de comparar e promover a tecnologia de IA é um desenvolvimento mais recente. A INTOLOGIA se gabou de receber críticas unanimamente positivas para seus artigos gerados pela IA em X, até citando os revisores de oficinas elogiando as "idéias inteligentes" em um de seus estudos. Essa autopromoção não se encaixou bem com os acadêmicos. Ashwinee Panda, um pós-doutorado da Universidade de Maryland, criticou a falta de respeito demonstrada aos revisores humanos enviando trabalhos gerados pela IA sem o seu consentimento. Panda observou que Sakana havia abordado seu workshop na ICLR, mas ela se recusou a participar, enfatizando a importância de respeitar o tempo e os direitos dos revisores. O ceticismo sobre o valor dos artigos gerados pela IA é generalizado entre os pesquisadores. Sakana reconheceu que sua IA cometeu erros de citação "embaraçosa" e que apenas um de seus três trabalhos enviados teria atendido aos padrões da conferência. Em um movimento em direção à transparência, Sakana retirou seu papel da ICLR. Alexander Doria, co-fundadora da Startup Pleias da IA, sugeriu a necessidade de uma "empresa regulamentada/agência pública" para realizar avaliações pagas e de alta qualidade de estudos gerados pela IA. Ele argumentou que os pesquisadores deveriam ser totalmente compensados ​​por seu tempo e que a academia não deve ser usada como um recurso gratuito para avaliações de IA.

Artigo relacionado

Comentários (30)