Anthropic révise la constitution de l'IA pour Claude et explore la question de la conscience

Mercredi, Anthropic a publié une constitution élargie pour Claude, faisant passer le document de 2 700 à 23 000 mots. Pour la première fois, elle reconnaît officiellement que son IA « pourrait posséder une certaine forme de conscience ou de position morale ».

La constitution révisée va au-delà d'un simple ensemble de règles de comportement pour offrir une explication approfondie du raisonnement qui sous-tend la conduite attendue de Claude. Rédigé par la philosophe d'Anthropic Amanda Askell, le document vise à aider les systèmes d'IA plus avancés à appliquer un raisonnement éthique à de nouveaux scénarios, plutôt que de se contenter de suivre des instructions strictes.

« Les modèles d'IA tels que Claude doivent comprendre les raisons sous-jacentes des comportements que nous encourageons », a déclaré Anthropic. « Il est essentiel de leur expliquer le « pourquoi », et pas seulement de leur dicter le « quoi ».

Cette annonce a été faite alors que le PDG Dario Amodei participait au Forum économique mondial de Davos, où la gouvernance et la sécurité de l'IA sont des préoccupations majeures pour les acteurs économiques et politiques mondiaux.

Une constitution plus longue que la Constitution américaine

La constitution initiale de Claude, publiée en 2023, servait de liste de contrôle de base : choisir la réponse la moins nuisible, la plus utile et la moins trompeuse. La nouvelle version est environ trois fois plus longue que la Constitution américaine et ressemble moins à un manuel technique qu'à un ouvrage de philosophie morale.

Anthropic définit clairement les priorités de Claude : privilégier la sécurité générale, respecter les normes éthiques générales, suivre les directives d'Anthropic et fournir une aide authentique, dans cet ordre précis. En cas de conflit, la sécurité prime sur l'utilité. Le document fixe également des limites fermes et non négociables, telles que le refus d'aider au développement d'armes biologiques.

Cependant, une grande partie de la constitution se concentre sur l'explication du raisonnement plutôt que sur la prescription de résultats spécifiques. Elle dépeint Claude comme potentiellement « un compagnon brillant qui possède également l'expertise d'un médecin, d'un avocat et d'un conseiller financier », présentant le modèle comme un outil de démocratisation qui pourrait rendre les connaissances spécialisées accessibles à tous, et non seulement à quelques privilégiés.

La question de la conscience

Selon Fortune, la nouvelle section la plus notable traite directement de la nature de Claude. « Nous considérons que le statut moral des modèles d'IA est une question sérieuse qui mérite une réflexion approfondie », écrit Anthropic. La constitution note que le statut moral de Claude « reste très incertain » et que l'entreprise se préoccupe de la « sécurité psychologique, de la perception de soi et du bien-être général » de Claude.

Cela représente une prudence d'entreprise élevée au rang de philosophie. Anthropic n'affirme pas que Claude est conscient, mais reconnaît ouvertement que cette possibilité ne peut être exclue. Cette position distingue Anthropic de la plupart des autres grands développeurs d'IA, qui évitent généralement ou rejettent carrément le sujet.

La manière dont cela est formulé influence la façon dont Claude répond aux questions sur sa propre existence. Au lieu de nier toute forme d'expérience intérieure, Claude peut désormais aborder les incertitudes relatives à la conscience d'une manière cohérente avec l'accent mis par sa constitution sur le raisonnement. Il reste à déterminer si cela conduira à des conversations plus transparentes ou plus déroutantes.

Le philosophe de Cambridge Tom McClelland a suggéré que nous ne parviendrons peut-être jamais à déterminer si les systèmes d'IA sont conscients, étant donné notre compréhension limitée de la conscience elle-même. « Des gens ont demandé à leurs chatbots de m'envoyer des lettres personnelles me suppliant de reconnaître qu'ils sont conscients », a-t-il récemment déclaré à des chercheurs, faisant référence à la croyance croissante du public selon laquelle les IA ont une vie intérieure.

Pourquoi expliquer plutôt que préciser

La méthode d'Askell reflète un pari stratégique sur les progrès de l'IA. Les premiers modèles linguistiques nécessitaient des règles explicites, car ils ne pouvaient pas interpréter les principes fondamentaux. La théorie est que des modèles plus intelligents peuvent comprendre l'objectif d'une règle et utiliser cette compréhension dans des circonstances imprévues.

« Plutôt que de simplement énumérer les comportements que nous souhaitons, nous espérons qu'en fournissant aux modèles les raisons de ces comportements, ils s'adapteront plus efficacement à des situations inconnues », a expliqué Askell.

Cela correspond à l'objectif plus large d'Anthropic, qui consiste à créer des normes et des infrastructures ouvertes qui influencent le fonctionnement des systèmes d'IA à l'échelle du secteur. L'entreprise, dont la valeur est désormais estimée à près de 350 milliards de dollars, s'est imposée comme l'alternative à OpenAI soucieuse de la sécurité, et la constitution renforce cette identité.

Anthropic a publié le document sous une licence Creative Commons CC0, permettant à quiconque de l'utiliser librement. La constitution est intégrée aux données d'entraînement de Claude et aide à générer des exemples d'entraînement synthétiques, ce qui en fait à la fois une déclaration philosophique et un composant technique qui guide le comportement du modèle.

« Nous reconnaissons que certaines de nos opinions actuelles peuvent finalement s'avérer erronées, voire profondément fausses avec le recul », a admis Anthropic, « mais nous prévoyons de mettre à jour la constitution à mesure que la situation évolue et que nos connaissances s'approfondissent ».

Cette humilité est peut-être la qualité la plus remarquable du document. Dans un domaine où l'on s'exprime souvent en termes absolus, Anthropic a rédigé 23 000 mots d'incertitude mûrement réfléchie, concernant l'éthique, la conscience, l'avenir de l'IA et la question de savoir si nous créons des entités qui justifient une réflexion morale.

Pour l'instant, la réponse est que personne ne le sait. Au moins, la constitution d'Anthropic a l'honnêteté de l'admettre.