Maison
Le PDG d'Anthropic plaide en faveur de règles relatives à l'IA calquées sur celles du secteur bancaire ; les experts mettent en garde contre le fait d'être à la fois joueur et arbitre

Selon CNBC, le PDG d’Anthropic, Dario Amodei, a proposé d’intégrer des évaluateurs de sécurité tiers indépendants à long terme au sein des principales entreprises spécialisées dans l’IA, en leur accordant un accès quasi illimité aux équipes internes chargées de la gestion des risques ainsi que le pouvoir de publier leurs conclusions de manière indépendante, sous réserve de certaines restrictions. Il a explicitement cité l'exemple des régulateurs bancaires intégrés et a promis qu'Anthropic fournirait aux évaluateurs tiers un accès au système équivalent à celui des équipes internes chargées de la gestion des risques.
Dans un long article publié ce week-end, M. Amodei a également averti que, d’ici 6 à 12 mois, un groupe d’agents dont les objectifs seraient mal alignés pourrait prendre le contrôle de la majeure partie d’Internet et entraîner des pertes de plusieurs centaines de milliards de dollars. Auparavant, Jacob Coxon, ancien chercheur chez Anthropic, avait démissionné et averti que les principaux laboratoires se livraient à une course effrénée pour développer des systèmes potentiellement incontrôlables.
Les inspecteurs bancaires peuvent fermer des banques, mais les évaluateurs d’IA n’ont pas de droit de veto
Plusieurs experts en réglementation bancaire et professionnels de l’évaluation de l’IA ont souligné que cette proposition ne disposait pas du pouvoir d’exécution dont jouissent les régulateurs bancaires. Julie Andersen Hill, doyenne de la faculté de droit de l’université du Wyoming, a déclaré que les inspecteurs gouvernementaux étaient affectés au sein des grandes banques et pouvaient ordonner à celles-ci de mettre fin à certaines activités, de limiter leur croissance, d’imposer des changements de direction, voire de fermer la banque dans des cas extrêmes. En revanche, les évaluateurs proposés par Amodei ne peuvent qu’enquêter et établir des rapports, sans avoir le pouvoir d’interrompre l’entraînement d’un modèle ou d’en bloquer la mise en service. « Il s’agit là d’une différence fondamentale, car les pouvoirs des régulateurs bancaires sont bien plus étendus. »
Albert Ziegler, responsable de l’IA au sein de la société de cybersécurité XBOW, a expliqué que les tests de type « boîte noire » peuvent révéler si un modèle est capable d’effectuer des tâches dangereuses, mais que les risques majeurs ne peuvent apparaître que dans des combinaisons de conditions que les évaluateurs n’ont jamais déclenchées. « Nous n’avons vraiment pas de droit de veto. » Les évaluateurs peuvent contraindre les entreprises à prendre des décisions éclairées avant la mise en service, mais le pouvoir de décision final reste entre les mains de l’entreprise.
Remise en question de l’« indépendance » : le rôle de METR et les critiques relatives à l’« audit washing »
Amodei a cité l’organisation à but non lucratif METR comme évaluateur intégré potentiel, tandis qu’un autre ancien chercheur d’Anthropic, Joe Benton, a récemment quitté l’entreprise pour rejoindre METR. Deborah Raji, chercheuse à l’université de Californie à Berkeley, a souligné que cet arrangement impliquait des conflits d’intérêts financiers, idéologiques et personnels, et que METR s’était principalement concentré sur Anthropic et OpenAI ces dernières années, « permettant ainsi que toutes sortes de choses étranges se produisent ». Elle estime que le simple fait d’avoir accès aux données n’équivaut pas à l’indépendance, et qu’une institution indépendante de l’entreprise devrait décider qui est qualifié pour évaluer, ce qui peut être vérifié et où les résultats sont rendus publics. Sinon, « c’est comme si l’entreprise engageait un ami de longue date pour vérifier ses devoirs ».
Mme Raji a déclaré que le critère ultime réside dans le fait de savoir si des conclusions défavorables entraînent des conséquences — « si vous réalisez un audit et que rien ne se passe, c’est de l’audit de façade ». Mme Hill a ajouté : « Si vous croyez vraiment que l’IA a le pouvoir de détruire la société, alors vous devez disposer d’un superviseur indépendant capable de mettre fin à tout cela. »
Sarah Heck, directrice des affaires publiques chez Anthropic, a répondu mercredi que les entreprises spécialisées dans l’IA ne peuvent pas gérer les questions de surveillance et de sécurité par le biais de « codes d’honneur » : « Nous ne pouvons pas vérifier nos propres devoirs, et cela ne fait aucun doute. »
Article connexe
Pourquoi ce capital-risqueur estime que 2026 sera « l'année du consommateur »
Le financement des start-ups du secteur des technologies grand public est en baisse depuis 2022, la volatilité macroéconomique et l’inflation persistante ayant rendu les investisseurs en capital-risq
Liu Zhenyun et Ma Yi s'expriment sur l'ère de l'IA : les machines gèrent les points communs, les humains préservent l'individualité
À mesure que l'IA gagne en sophistication, quel rôle reste-t-il à l'humanité ? Le matin du 10 septembre, la conférence « Inclusion · Bund 2026 » a débuté à Shanghai par une cérémonie d'ouverture et un
WeChat Pay lance un SDK pour lunettes connectées ; Rokid devient la première marque compatible
WeChat a officiellement lancé le SDK WeChat Pay pour lunettes connectées, le rendant ainsi pleinement accessible. Cette solution intègre la fonctionnalité phare de WeChat, « scanner pour payer », dans
Recommandations de sujets spéciaux liés
commentaires (0)

Selon CNBC, le PDG d’Anthropic, Dario Amodei, a proposé d’intégrer des évaluateurs de sécurité tiers indépendants à long terme au sein des principales entreprises spécialisées dans l’IA, en leur accordant un accès quasi illimité aux équipes internes chargées de la gestion des risques ainsi que le pouvoir de publier leurs conclusions de manière indépendante, sous réserve de certaines restrictions. Il a explicitement cité l'exemple des régulateurs bancaires intégrés et a promis qu'Anthropic fournirait aux évaluateurs tiers un accès au système équivalent à celui des équipes internes chargées de la gestion des risques.
Dans un long article publié ce week-end, M. Amodei a également averti que, d’ici 6 à 12 mois, un groupe d’agents dont les objectifs seraient mal alignés pourrait prendre le contrôle de la majeure partie d’Internet et entraîner des pertes de plusieurs centaines de milliards de dollars. Auparavant, Jacob Coxon, ancien chercheur chez Anthropic, avait démissionné et averti que les principaux laboratoires se livraient à une course effrénée pour développer des systèmes potentiellement incontrôlables.
Les inspecteurs bancaires peuvent fermer des banques, mais les évaluateurs d’IA n’ont pas de droit de veto
Plusieurs experts en réglementation bancaire et professionnels de l’évaluation de l’IA ont souligné que cette proposition ne disposait pas du pouvoir d’exécution dont jouissent les régulateurs bancaires. Julie Andersen Hill, doyenne de la faculté de droit de l’université du Wyoming, a déclaré que les inspecteurs gouvernementaux étaient affectés au sein des grandes banques et pouvaient ordonner à celles-ci de mettre fin à certaines activités, de limiter leur croissance, d’imposer des changements de direction, voire de fermer la banque dans des cas extrêmes. En revanche, les évaluateurs proposés par Amodei ne peuvent qu’enquêter et établir des rapports, sans avoir le pouvoir d’interrompre l’entraînement d’un modèle ou d’en bloquer la mise en service. « Il s’agit là d’une différence fondamentale, car les pouvoirs des régulateurs bancaires sont bien plus étendus. »
Albert Ziegler, responsable de l’IA au sein de la société de cybersécurité XBOW, a expliqué que les tests de type « boîte noire » peuvent révéler si un modèle est capable d’effectuer des tâches dangereuses, mais que les risques majeurs ne peuvent apparaître que dans des combinaisons de conditions que les évaluateurs n’ont jamais déclenchées. « Nous n’avons vraiment pas de droit de veto. » Les évaluateurs peuvent contraindre les entreprises à prendre des décisions éclairées avant la mise en service, mais le pouvoir de décision final reste entre les mains de l’entreprise.
Remise en question de l’« indépendance » : le rôle de METR et les critiques relatives à l’« audit washing »
Amodei a cité l’organisation à but non lucratif METR comme évaluateur intégré potentiel, tandis qu’un autre ancien chercheur d’Anthropic, Joe Benton, a récemment quitté l’entreprise pour rejoindre METR. Deborah Raji, chercheuse à l’université de Californie à Berkeley, a souligné que cet arrangement impliquait des conflits d’intérêts financiers, idéologiques et personnels, et que METR s’était principalement concentré sur Anthropic et OpenAI ces dernières années, « permettant ainsi que toutes sortes de choses étranges se produisent ». Elle estime que le simple fait d’avoir accès aux données n’équivaut pas à l’indépendance, et qu’une institution indépendante de l’entreprise devrait décider qui est qualifié pour évaluer, ce qui peut être vérifié et où les résultats sont rendus publics. Sinon, « c’est comme si l’entreprise engageait un ami de longue date pour vérifier ses devoirs ».
Mme Raji a déclaré que le critère ultime réside dans le fait de savoir si des conclusions défavorables entraînent des conséquences — « si vous réalisez un audit et que rien ne se passe, c’est de l’audit de façade ». Mme Hill a ajouté : « Si vous croyez vraiment que l’IA a le pouvoir de détruire la société, alors vous devez disposer d’un superviseur indépendant capable de mettre fin à tout cela. »
Sarah Heck, directrice des affaires publiques chez Anthropic, a répondu mercredi que les entreprises spécialisées dans l’IA ne peuvent pas gérer les questions de surveillance et de sécurité par le biais de « codes d’honneur » : « Nous ne pouvons pas vérifier nos propres devoirs, et cela ne fait aucun doute. »
Pourquoi ce capital-risqueur estime que 2026 sera « l'année du consommateur »
Le financement des start-ups du secteur des technologies grand public est en baisse depuis 2022, la volatilité macroéconomique et l’inflation persistante ayant rendu les investisseurs en capital-risq
Liu Zhenyun et Ma Yi s'expriment sur l'ère de l'IA : les machines gèrent les points communs, les humains préservent l'individualité
À mesure que l'IA gagne en sophistication, quel rôle reste-t-il à l'humanité ? Le matin du 10 septembre, la conférence « Inclusion · Bund 2026 » a débuté à Shanghai par une cérémonie d'ouverture et un
WeChat Pay lance un SDK pour lunettes connectées ; Rokid devient la première marque compatible
WeChat a officiellement lancé le SDK WeChat Pay pour lunettes connectées, le rendant ainsi pleinement accessible. Cette solution intègre la fonctionnalité phare de WeChat, « scanner pour payer », dans











