Le papier généré par l'AI passe l'examen par les pairs, affirme Sakana, mais les détails sont nuancés

La startup d'IA japonaise Sakana a récemment fait des vagues en affirmant que son système d'IA, le scientifique-V2 de l'IA, a généré l'une des premières publications scientifiques évaluées par des pairs. Cependant, il y a des détails importants à considérer avant de nous exciter trop.

Le débat sur le rôle de l'IA dans la science est de se réchauffer. Certains chercheurs croient que l'IA n'est pas prête à être un «co-scientifique», tandis que d'autres voient le potentiel mais reconnaissent que nous sommes encore aux premiers stades. Sakana tombe dans ce dernier groupe.

L'entreprise a utilisé l'IA Scientist-V2 pour créer un article soumis à un atelier à ICLR, une conférence AI respectée. Sakana a travaillé avec l'Université de la Colombie-Britannique et l'Université d'Oxford pour soumettre trois articles générés par l'AI à cet atelier. L'IA a géré tout, des hypothèses aux expériences, au code, à l'analyse des données, aux visualisations et même aux titres.

"Nous avons généré des idées de recherche en fournissant le résumé et la description de l'atelier à l'IA", a déclaré Robert Lange, chercheur et membre fondateur de Sakana, à TechCrunch par e-mail. "Cela a assuré que les articles générés étaient sur le sujet et les soumissions appropriées."

L'un des trois articles a été accepté par l'atelier ICLR. Il s'est concentré sur la critique des techniques de formation pour les modèles d'IA. Cependant, Sakana a retiré l'article avant qu'il ne puisse être publié, citant la transparence et le respect des conventions ICLR.

Mais ne nous empêchons pas encore. Sakana a admis dans leur billet de blog que leur IA avait commis des erreurs de citation "embarrassantes", comme attribuer une méthode à un article de 2016 au lieu de l'œuvre originale de 1997.

De plus, le journal n'a pas été exposé autant à un examen minutieux que d'autres publications évaluées par des pairs. Il a été retiré après l'examen par les pairs initial, il n'a donc pas obtenu de «méta-révision» des organisateurs de l'atelier, qui auraient pu le rejeter.

Une autre chose à garder à l'esprit est que les ateliers de conférence ont souvent des taux d'acceptation plus élevés que la piste principale de la conférence. Sakana l'a mentionné dans leur article de blog et a noté qu'aucune de leurs études générées par l'IA ne répondait à leurs normes internes pour la piste de la conférence ICLR.

Matthew Guzdial, chercheur de l'IA et professeur adjoint à l'Université de l'Alberta, a qualifié les résultats de Sakana de "un peu trompeuses".

"Les gens de Sakana ont sélectionné les articles de certains nombre de ceux générés, ce qui signifie qu'ils utilisaient un jugement humain en termes de sélection des sorties qu'ils pensaient pouvoir entrer", a-t-il déclaré par e-mail. "Ce que je pense que cela montre, c'est que les humains et l'IA peuvent être efficaces, pas que l'IA seule puisse créer des progrès scientifiques."

Mike Cook, chercheur au King's College de Londres, spécialisé dans l'IA, a remis en question la rigueur des pairs examinateurs et de l'atelier.

"De nouveaux ateliers, comme celui-ci, sont souvent examinés par des chercheurs plus juniors", a-t-il déclaré à TechCrunch. "Il convient également de noter que cet atelier concerne des résultats et des difficultés négatifs - ce qui est génial, j'ai déjà organisé un atelier similaire - mais il est sans doute plus facile d'obtenir une IA pour écrire sur un échec de manière convaincante."

Cook n'était pas surpris qu'une IA puisse passer l'examen par les pairs, étant donné que l'IA est bonne pour écrire la prose à consonance humaine. Il a souligné que les articles en partie générés par l'AI-AI passaient une revue de revue ne sont pas nouveaux, et cela soulève des questions éthiques pour la communauté scientifique.

Les problèmes techniques de l'IA, comme sa tendance à «halluciner», rendent de nombreux scientifiques prudents à l'utiliser pour un travail sérieux. Il y a aussi une crainte que l'IA puisse simplement ajouter du bruit à la littérature scientifique, plutôt que de faire avancer les connaissances.

"Nous devons nous demander si le résultat de [Sakana] concerne la qualité de l'IA pour concevoir et mener des expériences, ou s'il s'agit de la qualité de la vente d'idées aux humains - que nous savons déjà que l'IA est excellente", a déclaré Cook. "Il y a une différence entre passer l'examen par les pairs et contribuer aux connaissances à un domaine."

Au crédit de Sakana, ils ne prétendent pas que leur IA peut produire des travaux scientifiques révolutionnaires ou même particulièrement nouveaux. Leur objectif était de "étudier la qualité de la recherche générée par l'IA" et de souligner la nécessité de "normes concernant la science générée par l'AI".

"Il y a des questions difficiles sur la question de savoir si la science [générée par l'AI-AI doit être jugée sur ses propres mérites pour éviter les préjugés contre elle", a écrit la société. "À l'avenir, nous continuerons d'échanger des opinions avec la communauté de recherche sur l'état de cette technologie pour nous assurer qu'elle ne se transforme pas à une situation à l'avenir où son seul but est de passer l'examen par les pairs, sapant ainsi considérablement le sens du processus d'examen des pairs scientifique."