Le PDG d'Anthropic présente son plan pour ouvrir de nouvelles perspectives

Les chercheurs en IA lancent des avertissements de plus en plus pressants concernant les risques liés à l’intelligence artificielle, le PDG d’OpenAI, Sam Altman, suggérant qu’il est peut-être temps de « modérer » le développement. Mais qu’est-ce que cela impliquerait concrètement ?

Dans un récent article de blog, le PDG d’Anthropic, Dario Amodei, a non seulement soutenu l’appel à « ralentir la course vers la frontière », mais a également proposé trois grandes stratégies pour y parvenir. Il a déclaré qu’Anthropic s’engageait « unilatéralement » à adopter l’une de ces approches.

Les débats sur la sécurité et l’alignement de l’IA se sont intensifiés cette semaine après que le chercheur Jacob Coxon a annoncé sa démission d’Anthropic. Il a invoqué ses craintes que les grandes entreprises d’IA ne soient en train de « jouer avec nos vies », un sentiment partagé par d’autres membres de l’entreprise qui estiment qu’une progression incontrôlée pourrait s’avérer fatale d’ici la fin de la décennie.

Bien que le message d’Amodei ne mentionne pas explicitement la démission de Coxon, le PDG a expliqué que deux facteurs l’avaient convaincu d’adopter une position plus prudente : le piratage d’OpenAI-HuggingFace et le fait que « l’IA a progressé à un rythme considérablement plus rapide » ces derniers temps, notamment en ce qui concerne sa « capacité croissante à construire la prochaine génération d’IA ».

« Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’IA », a écrit Amodei. « Les progrès sembleront toujours rapides, et nous devons utiliser à bon escient le temps que nous gagnons. »

Sa première proposition concerne la mise en place d’« évaluateurs intégrés » issus d’organismes tiers tels que METR. Ces évaluateurs vérifieraient que les entreprises spécialisées dans l’IA respectent leurs engagements en matière de rythme de développement et de sécurité, et veilleraient à ce que les incidents liés à la sécurité soient signalés. (OpenAI a récemment fait l’objet de critiques pour ne pas avoir signalé un incident au cours duquel ses agents IA avaient pris le contrôle d’un formulaire wiki allemand.)

Amodei a comparé ces évaluateurs à des régulateurs intégrés au sein du personnel bancaire, affirmant que leur accueil est « un engagement unilatéral pris par Anthropic (et pour lequel l’entreprise appelle les gouvernements à exiger que d’autres entreprises pionnières fassent de même) ». Cela implique notamment de fournir aux évaluateurs des badges d’entreprise, des bureaux et des ordinateurs portables, ainsi qu’un accès « globalement comparable à celui dont disposent les équipes internes d’évaluation des risques », sauf en cas de restrictions légales ou contractuelles.

Par la suite, Amodei a exhorté les principales entreprises d’IA « au sein des pays démocratiques » à coordonner « des normes de sécurité communes ainsi que des limites au rythme des progrès non contrôlés de l’IA ».

Une telle coordination semble peu probable en raison des tensions apparentes entre Altman et Amodei, ainsi que des craintes qu’une pause coordonnée ne déclenche une enquête antitrust. Amodei a abordé ce point dans son message, en écrivant que « pour des raisons liées au droit de la concurrence, il serait utile que le gouvernement américain joue un rôle de médiateur ou, à tout le moins, facilite ces discussions — il n’a pas besoin d’y participer, mais doit accorder une dérogation ciblée pour certains types de discussions sur la sécurité ».

Amodei a également abordé les inquiétudes concernant la domination chinoise en matière d’IA, souvent invoquées comme argument contre un ralentissement du développement. Il a fait valoir que si le gouvernement américain et les entreprises technologiques prenaient des mesures telles que le refus de vendre des puces puissantes ou des équipements de fabrication de semi-conducteurs à des entreprises chinoises, et s’ils luttaient contre la « distillation de modèles », ils pourraient « ralentir suffisamment les progrès de la Chine pour creuser considérablement l’avance des États-Unis au cours des 3 à 5 prochaines années ».

Enfin, M. Amodei a appelé à une « coordination mondiale », dans le cadre de laquelle les États-Unis et leurs alliés « tenteraient de se coordonner avec les gouvernements autoritaires, dans la mesure où cela est possible ». Il a reconnu « les limites évidentes de ce qui peut être réalisé », mais a laissé entendre qu’il pourrait y avoir des possibilités d’accord, même si celles-ci se limitaient à « interdire certaines utilisations restreintes et manifestement dangereuses de l’IA, telles que l’utilisation de l’IA pour la production d’armes biologiques ou le fait de permettre aux utilisateurs de le faire ».

Compte tenu de la volonté dont M. Amodei a fait preuve par le passé de reconnaître les dangers potentiels de l’IA et de l’ouverture de son entreprise à la réglementation, certains défenseurs de l’IA l’ont critiqué, le qualifiant de « catastrophiste » dont les propos alimentent la vague de rejet actuelle. En réponse, Amodei a affirmé avoir tenté d’offrir une perspective « équilibrée », arguant que cette vague de rejet est « fondamentalement une crise de confiance », les gens étant devenus sceptiques à l’égard des entreprises technologiques, du secteur et du gouvernement.

Les détracteurs du secteur restent sceptiques face à ces avertissements apocalyptiques sur l’IA, estimant qu’ils détournent l’attention des dommages que cette technologie cause déjà.

Le journaliste Brian Merchant, par exemple, a déclaré qu’il n’avait pas encore vu « de documentation crédible, étape par étape, expliquant comment exactement l’IA pourrait passer d’une amélioration auto-récursive à l’extermination de chaque être humain sur la planète » ; il a également laissé entendre que des propositions similaires à celles d’Amodei « ne serviraient probablement qu’à Anthropic et OpenAI ; c’est à cela que ressemble la captation réglementaire en action ».

Dans son nouveau billet, Amodei a écrit qu’il continuait « à croire que l’IA peut considérablement améliorer la qualité de vie humaine ».

« Mon désir de concrétiser ces avantages reste intact », a-t-il déclaré. « Mais ces avantages ne se concrétiseront que si nous développons la technologie de la bonne manière, et — à condition de bien utiliser le temps que nous gagnons — cela vaut la peine d’y apporter un soin particulièrement minutieux pour réussir. »