Les startups de l'IA ont critiqué pour l'utilisation de l'examen par les pairs comme tactique PR

Une tempête se prépare dans le monde académique concernant l'utilisation d'études générées par l'IA lors de la conférence ICLR de cette année, un événement majeur axé sur l'intelligence artificielle. Trois laboratoires d'IA, Sakana, Intology et Autoscience, ont suscité une controverse en soumettant des études générées par l'IA aux ateliers de l'ICLR.

Sakana a adopté une approche transparente, informant les responsables de l'ICLR et obtenant le consentement des évaluateurs avant de soumettre leurs articles générés par l'IA. Cependant, Intology et Autoscience n'ont pas suivi cet exemple, soumettant leurs études sans notification préalable, comme l'a confirmé un porte-parole de l'ICLR à TechCrunch.

La communauté académique s'est exprimée bruyamment sur les réseaux sociaux, nombreux sont ceux qui ont critiqué Intology et Autoscience pour avoir exploité le processus d'évaluation par les pairs. Prithviraj Ammanabrolu, professeur assistant à l'UC San Diego, a exprimé sa frustration sur X, soulignant l'absence de consentement des évaluateurs qui consacrent leur temps et leurs efforts gratuitement. Il a appelé à une divulgation complète aux rédacteurs concernant l'utilisation de l'IA dans la génération de ces études.

L'évaluation par les pairs est déjà une tâche exigeante, une récente enquête de Nature indiquant que 40 % des universitaires passent deux à quatre heures à évaluer une seule étude. La charge de travail augmente, comme en témoigne l'augmentation de 41 % des soumissions à la conférence NeurIPS l'année dernière, totalisant 17 491 articles.

La question du contenu généré par l'IA dans le milieu académique n'est pas nouvelle, des estimations suggérant qu'entre 6,5 % et 16,9 % des articles soumis aux conférences sur l'IA en 2023 contenaient du texte synthétique. Cependant, utiliser l'évaluation par les pairs comme moyen de benchmarking et de promotion de la technologie de l'IA est un développement plus récent.

Intology s'est vanté sur X d'avoir reçu des critiques unanimement positives pour leurs articles générés par l'IA, citant même des évaluateurs d'ateliers louant les "idées astucieuses" dans l'une de leurs études. Cette autopromotion n'a pas été bien accueillie par les universitaires.

Ashwinee Panda, postdoctorante à l'Université du Maryland, a critiqué le manque de respect envers les évaluateurs humains en soumettant des articles générés par l'IA sans leur consentement. Panda a noté que Sakana avait approché son atelier à l'ICLR, mais elle a refusé de participer, soulignant l'importance de respecter le temps et les droits des évaluateurs.

Le scepticisme quant à la valeur des articles générés par l'IA est répandu parmi les chercheurs. Sakana a reconnu que leur IA avait commis des erreurs de citation "embarrassantes" et que seul un de leurs trois articles soumis aurait répondu aux normes de la conférence. Dans un geste vers la transparence, Sakana a retiré son article de l'ICLR.

Alexander Doria, cofondateur de la startup d'IA Pleias, a suggéré la nécessité d'une "entreprise/agence publique régulée" pour mener des évaluations payées et de haute qualité des études générées par l'IA. Il a soutenu que les chercheurs devraient être pleinement rémunérés pour leur temps et que le milieu académique ne devrait pas être utilisé comme une ressource gratuite pour les évaluations de l'IA.