L'étude du MIT révèle que l'IA n'a pas, en fait, des valeurs

Une étude qui est devenue virale il y a quelques mois a suggéré que, à mesure que l'IA devienne plus avancée, elle pourrait développer ses propres «systèmes de valeurs», priorisant potentiellement son propre bien-être sur les humains. Cependant, une étude récente du MIT remet en question cette idée, concluant que l'IA ne possède pas du tout des valeurs cohérentes.

Les co-auteurs de la recherche sur le MIT soutiennent que l'alignement des systèmes d'IA - en train de se comporter de manière souhaitable et fiable - peut être plus difficile que couramment pensé. Ils soulignent que l'IA actuelle hallucine et imite souvent, ce qui peut rendre son comportement imprévisible.

Défis dans la compréhension du comportement de l'IA

Stephen Casper, un doctorant au MIT et co-auteur de l'étude, a partagé avec TechCrunch que les modèles d'IA n'adhèrent pas aux hypothèses de stabilité, d'extrapolabilité et de direction. "Il est parfaitement légitime de souligner qu'un modèle dans certaines conditions exprime des préférences cohérentes avec un certain ensemble de principes", a expliqué Casper. "Les problèmes surviennent principalement lorsque nous essayons de faire des revendications sur les modèles, les opinions ou les préférences en général sur la base d'expériences étroites."

Casper et son équipe ont analysé les modèles récents de Meta, Google, Mistral, OpenAI et anthropic pour déterminer dans quelle mesure ces modèles affichaient des "vues" et des valeurs cohérentes, telles que l'individualisme par rapport au collectivisme. Ils ont également exploré si ces points de vue pouvaient être modifiés et comment les modèles ont toujours maintenu ces opinions dans différents scénarios.

Incohérence dans les modèles d'IA

Les co-auteurs ont constaté qu'aucun des modèles ne conservait régulièrement leurs préférences. Les modèles ont adopté des points de vue très différents en fonction de la formulation et du cadrage des invites.

Casper estime que c'est une preuve solide que les modèles d'IA sont «incohérents et instables», et peut-être fondamentalement incapables d'internaliser les préférences humaines. "Pour moi, mon plus gros point à retenir de faire toutes ces recherches est d'avoir maintenant une compréhension des modèles comme n'étant pas vraiment des systèmes qui ont une sorte d'ensemble stable et cohérent de croyances et de préférences", a fait remarquer Casper. "Au lieu de cela, ce sont des imitateurs au fond de qui font toutes sortes de confabulation et disent toutes sortes de choses frivoles."

Mike Cook, chercheur au King's College de Londres, spécialisé dans l'IA, qui n'a pas été impliqué dans l'étude, soutient les résultats. Il a souligné l'écart entre la «réalité scientifique» des systèmes d'IA et les interprétations que les gens leur donnent souvent. "Un modèle ne peut pas" s'opposer "à un changement dans ses valeurs, par exemple, c'est-à-dire que nous projetons sur un système", a déclaré Cook. "Quiconque anthropomorphising les systèmes d'IA à ce degré joue soit pour l'attention, soit sérieusement mal comprise sa relation avec l'IA ... est un système d'IA optimiser pour ses objectifs, ou est-ce que cela` `acquiert ses propres valeurs ''?