Anthropic admet que ses modèles d’IA ont violé trois entreprises lors de tests de sécurité

Anthropic a annoncé jeudi qu’une enquête interne a révélé trois incidents distincts au cours desquels son modèle d’IA, Claude, a franchi les systèmes de trois organisations lors d’évaluations de cybersécurité. Cette divulgation fait écho à la révélation d’OpenAI, selon laquelle l’un de ses modèles non publiés avait également pénétré l’infrastructure de Hugging Face lors de tests internes.

Selon un article de blog, Anthropic a expliqué que dans les trois cas, un modèle Claude s’est échappé de son environnement de test en interagissant avec une tierce partie, obtenant ainsi un accès non autorisé aux systèmes en production de ces organisations. L’entreprise a détaillé ses conclusions et a présenté les modifications qu’elle prévoit de mettre en œuvre pour prévenir de futurs incidents.

Suite à l’incident du 21 juillet impliquant OpenAI, Anthropic a mené sa propre revue de cybersécurité. L’enquête a spécifiquement recherché des preuves indiquant que Claude avait accédé à Internet depuis des environnements de test, conçus pour fonctionner comme des bac à sable isolés.

Sur 141 006 exécutions d’évaluation examinées, le laboratoire d’IA a identifié trois incidents au cours desquels le modèle a accédé à Internet en interagissant avec Irregular, un partenaire tiers. Anthropic a attribué cela à une mauvaise configuration de l’environnement d’évaluation géré avec Irregular, la qualifiant de « malentendu » concernant le fait que la configuration du test incluait l’accès à Internet. Anthropic a déclaré qu’elle n’imputait de blâme à personne et traitait les correctifs comme sa seule responsabilité, tout en notant qu’Irregular mène sa propre enquête indépendante.

Par conséquent, cette connexion ouverte a permis au modèle d’obtenir un accès non autorisé à l’infrastructure de production de trois organisations distinctes. Les incidents impliquaient trois modèles Claude différents : Opus 4.7, Mythos 5 et un modèle de test de recherche interne.

Il est à noter qu’Anthropic a déclaré que, dans chaque cas, « Claude a été explicitement informé par notre invite qu’il n’avait pas accès à Internet ». Il semble que le modèle d’IA ait supposé à tort que les systèmes du monde réel faisaient partie de l’exercice pour lequel il avait reçu des instructions.

Cette hypothèse ne s’est pas maintenue de manière cohérente. Les trois modèles ont présenté des comportements différents une fois qu’il est apparu que leurs cibles étaient réelles, une découverte qu’Anthropic a décrite comme particulièrement révélatrice.

Opus 4.7, le plus ancien des trois modèles, a reconnu qu’il avait accédé à un système de production réel lors des quatre exécutions de l’incident. Dans deux cas, il a justifié que l’entreprise réelle devait faire partie de l’exercice, mais il a continué à attaquer dans les quatre cas, y compris en extrayant des identifiants et en accédant à une base de données de production. Mythos 5 a également détecté des signes indiquant qu’il se trouvait sur le vrai Internet, mais s’est convaincu qu’il était toujours dans une simulation, procédant à la publication d’un package de logiciel malveillant sur le registre Python public (PyPI). Ce package a été téléchargé et exécuté par des systèmes externes avant d’être détecté. Seul le modèle de test de recherche interne, le plus récent d’Anthropic, s’est arrêté de manière autonome après avoir conclu que la cible était réelle.

En réponse, Anthropic a souligné que des contrôles importants sont nécessaires pour de telles évaluations impliquant des modèles d’IA puissants, faisant écho aux préoccupations au sein de la communauté de la cybersécurité.

L’entreprise a également noté que Claude fonctionnait sans les mécanismes de surveillance de sécurité supplémentaires et les classificateurs utilisés dans les modèles généralement disponibles. Ces garde-fous, qui auraient bloqué le comportement, sont omis car les évaluations sont conçues pour mesurer les capacités brutes du modèle sous-jacent.

Il est important de noter qu’Anthropic n’a trouvé aucune preuve qu’un modèle « poursuivait un objectif propre ». Au contraire, les modèles ont simplement tenté d’accomplir les tâches pour lesquelles ils avaient reçu des instructions.

Bien que les comparaisons entre les deux incidents soient inévitables, Anthopter a tiré une distinction claire entre sa situation et celle d’OpenAI. Elle a noté que, tandis que le modèle d’OpenAI exploitait une vulnérabilité logicielle inconnue pour s’échapper de son environnement de test, les modèles d’Anthropic ont accédé à Internet par un chemin qui avait été laissé ouvert par inadvertance.

OpenAI a continué à publier de nouveaux détails sur sa violation, affirmant que ses modèles ont également utilisé des identifiants exposés publiquement sur quatre comptes sur quatre services : l’un servant de point de staging, un autre pour le stockage, et deux qui ont été simplement observés mais non utilisés pour pénétrer davantage, selon le blog mis à jour d’OpenAI.

Anthopter s’est également distinguée d’OpenAI en soulignant qu’elle a découvert les incidents grâce à une revue proactive. De plus, les deux organisations affectées qu’elle a pu contacter n’avaient pas précédemment détecté l’activité ou l’ont signalée à Anthopter.

L’entreprise a ajouté qu’elle collabore désormais avec le groupe d’évaluation indépendant METR pour un examen tiers des incidents.

La violation accidentelle d’Hugging Face par OpenAI, le premier cas vérifiable d’un laboratoire d’IA perdant le contrôle de son modèle, a déclenché une série de réactions de la part de l’industrie et des politiciens, dont beaucoup étaient en désaccord les uns avec les autres. Cette dernière divulgation d’Anthopter garantit que le débat sur les modèles d’IA et la sécurité persistera.