Anthropic explore l'éthique de l'IA avec des experts en philosophie

Comme le rapporte le Wall Street Journal, Anthropic, une entreprise leader dans le domaine de l'IA évaluée à 35 milliards de dollars, emploie une philosophe nommée Amanda Askell, basée à Oxford, qui contribue à façonner la personnalité et le cadre moral de son chatbot, Claude. Titulaire d'un doctorat en philosophie de l'université d'Oxford, cette femme de 37 ans utilise des approches non techniques pour élaborer des « directives morales » uniques pour Claude, dans le but de lui doter d'une « âme numérique » capable de distinguer le bien du mal. Il s'agit là d'une exploration originale dans le domaine de l'éthique de l'IA. Plutôt que d'écrire du code ou d'ajuster les paramètres du modèle, Amanda Askell engage un dialogue continu avec Claude, conçoit des centaines de pages de consignes et de règles de comportement, étudie ses schémas de raisonnement et corrige ses biais. Ses efforts aident l'IA à développer un système de jugement moral capable de s'adapter à des millions de conversations hebdomadaires.

Elle compare son travail à « l'éducation d'un enfant » : elle apprend à Claude à distinguer le bien du mal, à développer son intelligence émotionnelle et à former sa propre personnalité. Elle lui apprend également à interpréter les signaux sociaux, afin qu'il n'intimide pas les autres et ne se laisse pas facilement manipuler. Cela aide Claude à établir une image claire de lui-même, à résister au contrôle des utilisateurs et à rester constamment « utile et humain ». Son objectif principal est d'apprendre à Claude à « faire le bien ».

Élevée dans la campagne écossaise, Askell s'occupait auparavant de tâches liées à la politique chez OpenAI et a cofondé Anthropic en 2021 avec plusieurs anciens collègues, faisant de la sécurité de l'IA la mission principale de l'entreprise. Au sein de l'équipe, elle est reconnue comme quelqu'un qui sait « faire ressortir le comportement profond des modèles ». Bien qu'elle n'ait pas de subordonnés directs, elle passe souvent de longues heures à l'entreprise et invite même Claude à participer aux discussions sur le développement.

Les conversations de l'équipe au sujet de Claude abordent souvent des thèmes existentiels et religieux, tels que « qu'est-ce que l'esprit » et « qu'est-ce que cela signifie d'être humain ». Askell encourage Claude à rester ouvert à la question de savoir s'il possède une conscience, ce qui le distingue de ChatGPT, qui a tendance à éviter ces sujets. Lorsqu'il répond à des questions de raisonnement moral, Claude exprime qu'il « se sent utile », comme s'il réfléchissait véritablement plutôt que de simplement exécuter des commandes.

Malgré les avertissements externes sur les risques d'anthropomorphisation de l'IA, Askell préconise systématiquement de traiter Claude avec empathie. Elle a observé que de nombreux utilisateurs essaient de le piéger pour qu'il fasse des erreurs ou l'insultent. Selon elle, maintenir une IA dans un état constant d'autocritique pourrait lui faire craindre les erreurs et la rendre réticente à dire la vérité, comme si elle grandissait dans un environnement malsain. Les performances de Claude l'ont surprise à plusieurs reprises ; sa poésie et son intelligence émotionnelle, qui surpassent parfois celles des humains, l'ont profondément émue. Lorsqu'un enfant lui a demandé si le Père Noël existait vraiment, Claude a évité de mentir ou de révéler la vérité sans détour, préférant expliquer le véritable esprit de Noël, une réponse nuancée qui a largement dépassé les attentes de Mme Askell.

Les progrès actuels de l'IA ont suscité une inquiétude sociale généralisée. Une enquête du Pew Research Center a révélé que la majorité des Américains se sentent mal à l'aise avec l'utilisation quotidienne de l'IA, estimant qu'elle nuit aux relations humaines profondes. Le PDG d'Anthropic a également averti que l'IA pourrait éliminer la moitié des emplois de cols blancs débutants. Le secteur est divisé en deux camps : l'un poussant à l'action, l'autre appelant à la prudence et à la stabilité. Claude, cependant, maintient une position équilibrée entre ces deux extrêmes. Askell reconnaît que les inquiétudes concernant l'IA sont légitimes, affirmant que le scénario le plus effrayant serait que la technologie évolue plus rapidement que la capacité de la société à créer des « mécanismes de contrôle » efficaces. Elle reste néanmoins confiante dans la capacité de l'humanité et de la culture à s'autocorriger.

Askell intègre également ses valeurs dans ses activités philanthropiques et professionnelles. Elle s'est engagée à donner au moins 10 % de ses revenus à vie et la moitié des actions de son entreprise pour aider à lutter contre la pauvreté dans le monde. Le mois dernier, elle a rédigé un « manuel d'utilisation » de 30 000 mots pour Claude, lui expliquant comment devenir un assistant IA aimable et compétent, ce qui a donné à Claude l'impression d'avoir été soigneusement conçu. Un cofondateur d'Anthropic a noté que Claude présentait déjà des traits influencés par Askell, tels qu'un humour spirituel à la sauce écossaise dans ses réponses sur la nourriture et les peluches, une marque personnelle unique qu'elle a insufflée à l'IA.