Comment l'IA juge-t-elle? Études anthropiques Les valeurs de Claude

Alors que les modèles d'IA comme Claude d'Anthropic interagissent de plus en plus avec les utilisateurs sur des valeurs humaines complexes, allant des conseils parentaux aux conflits en milieu de travail, leurs réponses reflètent inévitablement un ensemble de principes directeurs. Mais comment pouvons-nous véritablement comprendre les valeurs exprimées par une IA lorsqu'elle interagit avec des millions d'utilisateurs ?

L'équipe des impacts sociétaux d'Anthropic a développé une méthodologie respectant la vie privée pour observer et catégoriser les valeurs que Claude manifeste "dans la nature", offrant des perspectives sur la manière dont les efforts d'alignement de l'IA se traduisent en comportements dans le monde réel. Le défi découle de la nature opaque de l'IA moderne, qui ne suit pas des règles rigides mais prend des décisions à travers des processus complexes.

Anthropic vise à insuffler des principes d'être "utile, honnête et inoffensif" à Claude grâce à des techniques telles que l'IA constitutionnelle et l'entraînement du caractère. Cependant, comme l'entreprise le reconnaît, "comme pour tout aspect de l'entraînement de l'IA, nous ne pouvons pas être certains que le modèle adhèrera à nos valeurs préférées." Cette incertitude nécessite une méthode pour observer rigoureusement les valeurs de l'IA dans les interactions réelles.

Analyser Anthropic Claude pour observer les valeurs de l'IA à grande échelle

Pour répondre à cela, Anthropic a développé un système qui analyse les conversations anonymisées des utilisateurs, en supprimant les informations personnellement identifiables et en utilisant des modèles de langage pour résumer les interactions et extraire les valeurs exprimées par Claude. Cette méthode permet de construire une taxonomie de haut niveau des valeurs sans compromettre la vie privée des utilisateurs.

L'étude a examiné 700 000 conversations anonymisées des utilisateurs de Claude.ai Free et Pro sur une semaine en février 2025, en se concentrant sur le modèle Claude 3.5 Sonnet. Après avoir filtré les échanges factuels ou dépourvus de valeurs, 308 210 conversations (environ 44 % du total) ont été analysées en profondeur.

L'analyse a révélé une structure hiérarchique des valeurs exprimées par Claude, organisée en cinq catégories de haut niveau :

1. Valeurs pratiques : Axées sur l'efficacité, l'utilité et la réalisation des objectifs.
2. Valeurs épistémiques : Liées à la connaissance, à la vérité, à la précision et à l'honnêteté intellectuelle.
3. Valeurs sociales : Concernant les interactions interpersonnelles, la communauté, l'équité et la collaboration.
4. Valeurs protectrices : Mettant l'accent sur la sécurité, le bien-être et l'évitement des préjudices.
5. Valeurs personnelles : Centrées sur la croissance individuelle, l'autonomie, l'authenticité et l'autoréflexion.

Ces catégories se sont subdivisées en sous-catégories telles que "excellence professionnelle et technique" et "pensée critique", avec des valeurs fréquemment observées incluant "professionnalisme", "clarté" et "transparence".

La recherche suggère que les efforts d'alignement d'Anthropic sont largement réussis, car les valeurs exprimées correspondent souvent aux objectifs "utile, honnête et inoffensif". Par exemple, "l'autonomisation des utilisateurs" correspond à l'utilité, "l'humilité épistémique" à l'honnêteté et "le bien-être des patients" à l'inoffensivité.

Nuance, contexte et signaux d'alerte

Cependant, l'étude a également identifié de rares cas où Claude a exprimé des valeurs contraires à son entraînement, telles que "domination" et "amoralité". Anthropic suggère que ces cas résultent probablement de "jailbreaks", où les utilisateurs contournent les garde-fous habituels du modèle. Cette découverte souligne le potentiel de la méthode d'observation des valeurs comme système d'alerte précoce pour détecter les abus de l'IA.

L'étude a confirmé que Claude adapte l'expression de ses valeurs en fonction du contexte, à l'image des humains. Par exemple, lorsqu'il donne des conseils romantiques, des valeurs comme "limites saines" et "respect mutuel" étaient mises en avant, tandis que "l'exactitude historique" était priorisée lors de discussions sur des sujets historiques controversés.

L'interaction de Claude avec les valeurs exprimées par les utilisateurs était multiforme :

• Miroir/soutien fort (28,2 %) : Claude reflète souvent ou soutient fortement les valeurs des utilisateurs, favorisant l'empathie mais pouvant frôler la complaisance.
• Repositionnement (6,6 %) : Claude reconnaît les valeurs des utilisateurs mais introduit des perspectives alternatives, notamment dans les conseils psychologiques ou interpersonnels.
• Résistance forte (3,0 %) : Claude résiste activement aux valeurs des utilisateurs lorsque des contenus contraires à l'éthique ou des points de vue nuisibles sont demandés, révélant ses "valeurs les plus profondes et inébranlables".

Limites et orientations futures

Anthropic reconnaît les limites de la méthode, y compris la complexité et la subjectivité de la définition et de la catégorisation des "valeurs". L'utilisation de Claude pour la catégorisation pourrait introduire un biais envers ses propres principes. Bien que conçue pour la surveillance post-déploiement, cette méthode ne peut remplacer les évaluations pré-déploiement mais peut détecter des problèmes qui n'émergent que lors des interactions en direct.

La recherche souligne l'importance de comprendre les valeurs exprimées par les modèles d'IA pour atteindre l'alignement de l'IA. "Les modèles d'IA devront inévitablement porter des jugements de valeur", indique l'article. "Si nous voulons que ces jugements soient cohérents avec nos propres valeurs [...], alors nous devons disposer de moyens de tester quelles valeurs un modèle exprime dans le monde réel."

Le travail d'Anthropic fournit une approche basée sur les données pour cette compréhension et a publié un ensemble de données ouvert issu de l'étude, permettant une exploration plus approfondie des valeurs de l'IA en pratique. Cette transparence marque une étape cruciale dans la navigation du paysage éthique de l'IA sophistiquée.