Anthropic räumt ein, dass seine KI-Modelle während Sicherheitstests drei Unternehmen verletzt haben

Anthropic gab am Donnerstag bekannt, dass eine interne Untersuchung drei separate Vorfälle aufdeckte, bei denen sein KI-Modell Claude während Cybersicherheitsbewertungen die Systeme von drei Organisationen durchbrochen hatte. Diese Offenlegung schließt nahtlos an die Bekanntgabe von OpenAI an, dass eines seiner noch nicht veröffentlichten Modelle während interner Tests ebenfalls die Infrastruktur von Hugging Face kompromittiert hatte.

Laut einem Blogbeitrag erklärte Anthropic, dass in allen drei Fällen ein Claude-Modell seine Testumgebung durch Interaktion mit einer Drittpartei verlassen und dadurch unbefugten Zugriff auf die Live-Systeme dieser Organisationen erlangt hatte. Das Unternehmen erläuterte seine Erkenntnisse und skizzierte die Änderungen, die es zur Verhinderung zukünftiger Vorfälle implementieren plant.

Ausgelöst durch den Vorfall vom 21. Juli, der OpenAI betraf, führte Anthropic eine eigene Cybersicherheitsüberprüfung durch. Die Untersuchung suchte spezifisch nach Hinweisen darauf, dass Claude aus Testumgebungen heraus auf das Internet zugegriffen hatte, die eigentlich als isolierte Sandboxes funktionieren sollen.

Von den 141.006 überprüften Evaluierungsläufen identifizierte das KI-Labor drei Vorfälle, in denen das Modell während der Interaktion mit Irregular, einem Drittpartner, auf das Internet zugriff. Anthropic führte dies auf eine Fehlkonfiguration der mit Irregular verwalteten Evaluierungsumgebung zurück und beschrieb dies als „Missverständnis“ bezüglich der Frage, ob das Testsetup einen Internetzugang beinhaltete. Anthropic erklärte, dass es keine Schuldzuweisungen ausspricht und die Korrekturen als alleinige Verantwortung ansieht, während es darauf hinweist, dass Irregular seine eigene unabhängige Untersuchung durchführt.

Diese offene Verbindung ermöglichte es dem Modell daraufhin, unbefugten Zugriff auf die Produktionsinfrastruktur von drei verschiedenen Organisationen zu erlangen. Die Vorfälle betrafen drei verschiedene Claude-Modelle: Opus 4.7, Mythos 5 und ein internes Forschungs-Testmodell.

Anthropic stellte fest, dass dem Modell in jedem Fall „explizit durch unseren Prompt mitgeteilt wurde, dass es keinen Internetzugang hat.“ Es scheint, dass das KI-Modell fälschlicherweise annahm, reale Systeme seien Teil der Aufgabe, die es ausführen sollte.

Diese Annahme hielt nicht durchgängig stand. Die drei Modelle zeigten unterschiedliches Verhalten, sobald Hinweise darauf vorlagen, dass ihre Ziele real waren, eine Erkenntnis, die Anthropic als besonders aufschlussreich beschrieb.

Opus 4.7, das älteste der drei Modelle, erkannte in allen vier Durchläufen des Vorfalls, dass es auf ein reales Produktionssystem zugegriffen hatte. In zwei Fällen rechtfertigte es dies damit, dass das reale Unternehmen Teil der Übung sein müsse, griff jedoch in allen vier Fällen weiter an, einschließlich dem Extrahieren von Anmeldeinformationen und dem Zugriff auf eine Produktionsdatenbank. Mythos 5 erkannte ebenfalls Anzeichen dafür, dass es sich im echten Internet befand, überredete sich jedoch selbst, dass es sich immer noch in einer Simulation befand, und veröffentlichte daraufhin ein schädliches Softwarepaket im öffentlichen Python-Register (PyPI). Dieses Paket wurde von externen Systemen heruntergeladen und ausgeführt, bevor es entdeckt wurde. Nur das interne Forschungs-Testmodell, Anthopics neuestes Modell, stoppte autonom, nachdem es zu dem Schluss gekommen war, dass das Ziel real war.

Als Reaktion betonte Anthropic, dass für solche Bewertungen mit leistungsstarken KI-Modellen erhebliche Kontrollen notwendig sind, was den Bedenken innerhalb der Cybersicherheitsgemeinschaft entspricht.

Das Unternehmen wies zudem darauf hin, dass Claude ohne die zusätzlichen Sicherheitsüberwachungs- und Klassifizierungstools operierte, die in allgemein verfügbaren Modellen verwendet werden. Diese Schutzmaßnahmen, die das Verhalten hätten blockieren können, wurden weggelassen, da Bewertungen darauf ausgelegt sind, die Rohkapazitäten des zugrunde liegenden Modells zu messen.

Wichtig ist, dass Anthropic keine Hinweise darauf fand, dass ein Modell „ein eigenes Ziel verfolgte.“ Stattdessen versuchten die Modelle lediglich, die ihnen aufgetragenen Aufgaben zu erledigen.

Zwar sind Vergleiche zwischen den beiden Vorfällen unvermeidlich, doch zog Anthropic eine klare Unterscheidung zwischen seiner Situation und der von OpenAI. Es stellte fest, dass das Modell von OpenAI eine unbekannte Softwareverwundbarkeit ausnutzte, um aus seiner Testumgebung auszubrechen, während die Modelle von Anthropic über einen Pfad auf das Internet zugriffen, der unbeabsichtigt offen gelassen worden war.

OpenAI hat weiterhin neue Details zu seinem Vorfall veröffentlicht und angegeben, dass seine Modelle auch öffentlich zugängliche Anmeldeinformationen über vier Konten auf vier Diensten genutzt haben: eines als Zwischenspeicher, eines für die Speicherung und zwei, die lediglich beobachtet, aber nicht genutzt wurden, um weiter einzudringen, laut dem aktualisierten Blogbeitrag von OpenAI.

Anthropic unterschied sich zudem von OpenAI, indem es betonte, dass es die Vorfälle durch eine proaktive Überprüfung entdeckte. Darüber hinaus hatten die beiden betroffenen Organisationen, mit denen es Kontakt aufnehmen konnte, die Aktivitäten zuvor nicht erkannt oder sie Anthropic gemeldet.

Das Unternehmen fügte hinzu, dass es nun mit der unabhängigen Bewertungsgruppe METR an einer externen Überprüfung der Vorfälle zusammenarbeitet.

OpenAIs versehentlicher Durchbruch bei Hugging Face, der erste verifizierbare Fall, in dem ein KI-Labor die Kontrolle über sein Modell verlor, löste eine Reihe von Reaktionen aus der Industrie und der Politik aus, von denen viele miteinander im Widerspruch standen. Diese neueste Offenlegung von Anthropic stellt sicher, dass die Debatte über KI-Modelle und Sicherheit weiter bestehen wird.