Le papier généré par l'AI passe l'examen par les pairs, affirme Sakana, mais les détails sont nuancés

La startup japonaise d'IA Sakana a récemment fait sensation en affirmant que son système d'IA, The AI Scientist-v2, a généré l'une des premières publications scientifiques évaluées par les pairs. Cependant, il y a quelques détails importants à considérer avant de s'enthousiasmer trop vite.

Le débat sur le rôle de l'IA dans la science s'intensifie. Certains chercheurs estiment que l'IA n'est pas prête à être un "co-scientifique", tandis que d'autres y voient un potentiel mais reconnaissent que nous en sommes encore aux débuts. Sakana fait partie de ce dernier groupe.

L'entreprise a utilisé The AI Scientist-v2 pour créer un article soumis à un atelier à l'ICLR, une conférence d'IA bien respectée. Sakana a collaboré avec l'Université de Colombie-Britannique et l'Université d'Oxford pour soumettre trois articles générés par l'IA à cet atelier. L'IA a tout géré, des hypothèses aux expériences, en passant par le code, l'analyse des données, les visualisations et même les titres.

"Nous avons généré des idées de recherche en fournissant le résumé et la description de l'atelier à l'IA," a déclaré Robert Lange, scientifique de recherche et membre fondateur de Sakana, à TechCrunch par courriel. "Cela a garanti que les articles générés étaient pertinents et adaptés aux soumissions."

L'un des trois articles a été accepté par l'atelier de l'ICLR. Il se concentrait sur la critique des techniques d'entraînement pour les modèles d'IA. Cependant, Sakana a retiré l'article avant sa publication, invoquant la transparence et le respect des conventions de l'ICLR.

Mais ne nous emportons pas trop vite. Sakana a admis dans son billet de blog que son IA a commis des erreurs de citation "embarrassantes", comme attribuer une méthode à un article de 2016 au lieu de l'œuvre originale de 1997.

De plus, l'article n'a pas été soumis à autant de scrutiny que d'autres publications évaluées par les pairs. Il a été retiré après l'évaluation initiale par les pairs, donc il n'a pas reçu de "méta-évaluation" des organisateurs de l'atelier, qui auraient pu le rejeter.

Il faut aussi garder à l'esprit que les ateliers de conférence ont souvent des taux d'acceptation plus élevés que le programme principal de la conférence. Sakana l'a mentionné dans son billet de blog et a noté qu'aucune de leurs études générées par l'IA n'a atteint leurs normes internes pour le programme principal de l'ICLR.

Matthew Guzdial, chercheur en IA et professeur adjoint à l'Université de l'Alberta, a qualifié les résultats de Sakana de "quelque peu trompeurs."

"Les gens de Sakana ont sélectionné les articles parmi un certain nombre de ceux générés, ce qui signifie qu'ils utilisaient un jugement humain pour choisir les résultats qu'ils pensaient pouvoir être acceptés," a-t-il déclaré par courriel. "Ce que cela montre, je pense, c'est que les humains associés à l'IA peuvent être efficaces, et non que l'IA seule peut créer des progrès scientifiques."

Mike Cook, chercheur à King's College London spécialisé en IA, a remis en question la rigueur des évaluateurs par les pairs et de l'atelier.

"Les nouveaux ateliers, comme celui-ci, sont souvent évalués par des chercheurs plus juniors," a-t-il déclaré à TechCrunch. "Il est également important de noter que cet atelier porte sur les résultats négatifs et les difficultés — ce qui est génial, j'ai organisé un atelier similaire auparavant — mais il est sans doute plus facile pour une IA d'écrire de manière convaincante sur un échec."

Cook n'était pas surpris qu'une IA puisse passer l'évaluation par les pairs, étant donné que l'IA est douée pour écrire un texte qui semble humain. Il a souligné que des articles partiellement générés par l'IA passant l'évaluation de revues n'est pas nouveau, et cela soulève des questions éthiques pour la communauté scientifique.

Les problèmes techniques de l'IA, comme sa tendance à "halluciner", rendent de nombreux scientifiques prudents quant à son utilisation pour des travaux sérieux. Il y a aussi une crainte que l'IA ne fasse qu'ajouter du bruit à la littérature scientifique, plutôt que de faire progresser les connaissances.

"Nous devons nous demander si le résultat de [Sakana] concerne la capacité de l'IA à concevoir et mener des expériences, ou si cela concerne sa capacité à vendre des idées aux humains — ce que nous savons déjà que l'IA fait très bien," a déclaré Cook. "Il y a une différence entre passer l'évaluation par les pairs et contribuer aux connaissances d'un domaine."

À la décharge de Sakana, ils ne prétendent pas que leur IA peut produire un travail scientifique révolutionnaire ou particulièrement novateur. Leur objectif était d'"étudier la qualité de la recherche générée par l'IA" et de souligner le besoin de "normes concernant la science générée par l'IA."

"Il y a des questions difficiles sur la question de savoir si la science [générée par l'IA] devrait être jugée sur ses propres mérites d'abord pour éviter les préjugés contre elle," a écrit l'entreprise. "À l'avenir, nous continuerons à échanger des opinions avec la communauté scientifique sur l'état de cette technologie pour s'assurer qu'elle ne se développe pas dans une situation où son seul but est de passer l'évaluation par les pairs, ce qui compromettrait considérablement le sens du processus d'évaluation scientifique par les pairs."