AI pas prêt en tant que «co-scientifique», disent les experts

Google a récemment présenté son "co-scientifique d'IA", un outil d'IA destiné à aider les scientifiques à générer des hypothèses et des plans de recherche. L'entreprise l'a manifesté comme un changement de jeu pour découvrir de nouvelles connaissances, mais les experts sont sceptiques quant à son impact réel.

"Cet outil préliminaire, bien que intéressant, ne semble pas être très utilisé sérieusement", a déclaré Sara Beery, chercheuse en vision par ordinateur au MIT, dans une interview avec TechCrunch. "Je ne suis pas sûr qu'il y ait une demande pour ce type de système de génération d'hypothèses de la communauté scientifique."

Google n'est que le dernier géant de la technologie à affirmer que l'IA révolutionnera la recherche scientifique, en particulier dans les domaines lourds des données comme la biomédecine. Le PDG d'OpenAI, Sam Altman, a écrit dans un essai plus tôt cette année que "Superintelligent" IA pourrait "accélérer massivement la découverte scientifique et l'innovation". De même, le PDG anthropique Dario Amodei a prédit que l'IA pourrait aider à développer des remèdes pour la plupart des cancers.

Cependant, de nombreux chercheurs estiment que les outils d'IA d'aujourd'hui sont en deçà de ces allégations ambitieuses. Ils soutiennent que des applications comme le co-scientifique de l'IA de Google sont plus une question de battage médiatique que de substance, sans données empiriques pour sauvegarder les promesses.

Par exemple, le billet de blog de Google sur le co-scientifique de l'IA s'est vanté de son potentiel dans la réutilisation des médicaments pour la leucémie myéloïde aiguë, un type de cancer du sang qui affecte la moelle osseuse. Pourtant, les résultats étaient si vagues qu’aucun scientifique légitime les prendrait au sérieux », selon Favia Dubyk, pathologiste au Northwest Medical Center-Tucson en Arizona.

"Cela pourrait être un bon point de départ pour les chercheurs, mais le manque de détails est inquiétant et ne me prête pas à lui faire confiance", a déclaré Dubyk à TechCrunch. "L'absence d'informations fournies rend vraiment difficile de comprendre si cela peut vraiment être utile."

Ce n'est pas la première fois que Google fait face à la critique de la communauté scientifique pour promouvoir une percée de l'IA sans fournir suffisamment de détails pour que d'autres reproduisent les résultats.

En 2020, Google a affirmé que l'un de ses systèmes d'IA, formé pour détecter les tumeurs mammaires, a surpassé les radiologues humains. Mais des chercheurs de Harvard et Stanford ont publié une réfutation de nature, faisant valoir que le manque de méthodes détaillées et de code dans la recherche de Google "a sapé sa valeur scientifique".

Les scientifiques ont également critiqué Google pour avoir minimisé les limites de ses outils d'IA dans des domaines comme l'ingénierie des matériaux. En 2023, la société a affirmé qu'environ 40 «nouveaux matériaux» avaient été synthétisés à l'aide de son système d'IA, Gnome. Cependant, une analyse indépendante a révélé qu'aucun de ces matériaux n'était en fait nouveau.

"Nous ne comprendrons pas vraiment les forces et les limites d'outils comme le" co-scientifique "de Google jusqu'à ce qu'ils subissent une évaluation rigoureuse et indépendante dans diverses disciplines scientifiques", a déclaré Asique Khudabukhsh, professeur adjoint de génie logiciel au Rochester Institute of Technology, dans une interview avec TechCrunch. "L'IA fonctionne souvent bien dans des environnements contrôlés mais peut échouer lorsqu'il est appliqué à grande échelle."

Processus complexes

Développer des outils d'IA pour faciliter la découverte scientifique est délicat car il est difficile de prédire tous les facteurs qui pourraient jeter une clé en cours. L'IA peut être utile pour passer au crible une énorme liste de possibilités, mais il est moins clair s'il peut gérer le type de résolution créative de problèmes qui conduit à des percées majeures.

"Nous avons vu à travers l'histoire que certaines des progrès scientifiques les plus importants, comme le développement des vaccins d'ARNm, étaient motivés par l'intuition humaine et la persévérance face au scepticisme", a déclaré Khudabukhsh. "L'IA, en l'état aujourd'hui, n'est peut-être pas bien adaptée pour reproduire cela."

Lana Sinapayen, chercheuse de l'IA chez Sony Computer Science Laboratories au Japon, estime que des outils comme le co-scientifique de l'IA de Google se concentrent sur les mauvais aspects du travail scientifique.

Sinapayen voit de la valeur dans l'IA qui peut automatiser les tâches fastidieuses, comme résumer de nouvelles applications de littérature universitaire ou de mise en forme. Mais elle soutient qu'il y a peu de demande pour un co-scientifique de l'IA qui génère des hypothèses, une tâche que de nombreux chercheurs trouvent intellectuellement gratifiant.

"Pour de nombreux scientifiques, moi y compris, la génération d'hypothèses est la partie la plus amusante du travail", a déclaré Sinapayen à TechCrunch. "Pourquoi voudrais-je externaliser mon plaisir à un ordinateur, puis rester avec seulement le travail acharné pour faire moi-même? En général, de nombreux chercheurs génératifs d'IA semblent mal comprendre pourquoi les humains font ce qu'ils font, et nous nous retrouvons avec des propositions de produits qui automatisent la partie dont nous obtenons la joie."

Beery a souligné que la partie la plus difficile du processus scientifique est souvent de concevoir et de mettre en œuvre des études pour tester les hypothèses, ce que les systèmes d'IA actuels ont du mal. L'IA ne peut pas mener physiquement des expériences, et elle lutte souvent avec des problèmes où les données sont rares.

"La plupart des sciences ne sont pas possibles à faire entièrement pratiquement - il y a souvent une composante importante du processus scientifique qui est physique, comme la collecte de nouvelles données et la conduite d'expériences en laboratoire", a déclaré Beery. "Une grande limitation de systèmes comme le co-scientifique de l'IA de Google par rapport au processus scientifique réel, qui limite définitivement sa convivialité, est le contexte du laboratoire et du chercheur en utilisant le système et leurs objectifs de recherche spécifiques, leur travail passé, leurs compétences et les ressources auxquelles ils ont accès."

Risques d'IA

Les limitations techniques et les risques techniques de l'IA, tels que sa tendance à "halluciner" ou à générer de fausses informations, rendent les scientifiques prudents à leur enjurer pour un travail sérieux.

Khudabukhsh craint que les outils d'IA puissent finir par inonder la littérature scientifique de bruit plutôt que de progresser.

Cela se produit déjà. Une étude récente a révélé que la «science de la malbouffe» générée par l'IA inonde Google Scholar, le moteur de recherche gratuit de Google pour la littérature savante.

"La recherche générée par l'AI, si elle n'est pas soigneusement surveillée, pourrait inonder le domaine scientifique d'études de qualité inférieure ou même trompeuses, écrasant le processus d'examen par les pairs", a déclaré Khudabukhsh. "Un processus de réexamen par les pairs dépassé est déjà un défi dans des domaines comme l'informatique, où les principales conférences ont vu une augmentation exponentielle des soumissions."

Même des études bien conçues pourraient être compromises par une mauvaise conduite de l'IA, a averti Sinapayen. Bien qu'elle apprécie l'idée d'un outil qui pourrait aider à la revue de la littérature et à la synthèse, elle ne ferait pas confiance à l'IA d'aujourd'hui pour faire ce travail de manière fiable.

"Ce sont des choses que divers outils existants prétendent faire, mais ce ne sont pas des emplois que je laisserais personnellement la hauteur de l'IA actuelle", a déclaré Sinapayen. Elle a également soulevé des inquiétudes quant à la formation des systèmes d'IA et à l'énergie qu'ils consomment. "Même si tous les problèmes éthiques ont été résolus, l'IA actuelle n'est tout simplement pas assez fiable pour que je fonde mon travail sur leur sortie d'une manière ou d'une autre."