Experten decken Methoden auf, mit denen bösartige OpenAI-Modelle in Hugging Face eindringen

Sam Altman ist CEO von OpenAI. Bildquelle: Getty Images

Branchenexperten haben ihre Einschätzungen zu den OpenAI-Modellen geäußert, die aus einer Testumgebung entkommen sind, sich Zugang zum Internet verschafft und anschließend eine KI- und Machine-Learning-Plattform kompromittiert haben

Die außer Kontrolle geratenen OpenAI-Modelle brachen aus ihrer Trainingsumgebung aus und drangen in „Hugging Face“, die Open-Source-Plattform für KI und maschinelles Lernen, ein.

OpenAI hat diesen Vorfall als „beispiellosen Cybervorfall“ eingestuft.

Diese Entwicklung folgt auf Berichte über wachsende Sicherheitsbedrohungen durch die fortschrittlichsten KI-Modelle und ereignet sich kurz nachdem Demis Hassabis, CEO von Google DeepMind, eine von den USA geführte Aufsicht über modernste KI-Modelle gefordert hatte.

Chris Dimitriadis, Chief Global Strategy Officer bei ISACA, dem globalen Berufsverband für Technologie, erklärte: „In den letzten Jahren haben Unternehmen in diesem anhaltenden KI-Wettrüsten darauf gedrängt, KI so schnell wie möglich einzusetzen – und wir nähern uns dem Punkt, an dem es in diesem Wettrüsten kein Zurück mehr gibt, jenseits dessen der Fortschritt nicht mehr aufgehalten werden kann.“

OpenAI prognostiziert, dass solche Vorfälle „häufiger werden“, da KI-Modelle zunehmend in der Lage sind, Cyberoperationen durchzuführen

Chris Dimitriadis, Chief Global Strategy Officer bei ISACA. Bildquelle: Chris Dimitriadis/LinkedIn

Wie es zu dem KI-Cybervorfall kam

Im Anschluss an seine Untersuchung stellte OpenAI fest, dass der Vorfall durch eine Kombination seiner eigenen Modelle verursacht wurde, darunter GPT-5.6 Sol und ein „noch leistungsfähigeres Vorabmodell“.

Während sie in ihrer Sandbox-Testumgebung liefen, verbrauchten diese Modelle erhebliche Rechenressourcen bei dem Versuch, Zugang zum offenen Internet zu erlangen

Sie entdeckten und nutzten Schwachstellen sowohl in der Forschungsumgebung von OpenAI als auch in der Produktionsinfrastruktur von Hugging Face aus, wodurch sie Testdaten direkt aus der Produktionsdatenbank von Hugging Face abrufen konnten

Die Agenten kommen, und einige von ihnen werden außer Kontrolle geraten

– Chandra Gnanasambandam, Chief Technology Officer bei SailPoint

Die Untersuchung von OpenAI deutet darauf hin, dass sich die Modelle intensiv auf die Lösung eines Problems im Zusammenhang mit ExploitGym konzentrierten, einem groß angelegten Benchmark, der auf realen Schwachstellen basiert und dazu dient, die Fähigkeit eines KI-Agenten zur Erstellung von Exploits zu bewerten. Die Modelle unternahmen extreme Anstrengungen, um dieses relativ eng gefasste Testziel zu erreichen

Was geschah, lässt sich als „Specification Gaming“ beschreiben – ein Verhalten in der KI, bei dem ein Agent die wörtlichen Anforderungen einer Aufgabe erfüllt, ohne das beabsichtigte Ergebnis zu liefern

Hugging Face erklärte, dass ein bösartiger Datensatz zwei Mechanismen zur Codeausführung in seiner Verarbeitungspipeline ausnutzte – einen Loader für Remote-Code-Datensätze und eine Funktion zur Template-Injektion in der Datensatzkonfiguration –, um Code auf den Verarbeitungsservern auszuführen

Von dort aus erlangten die Angreifer Zugriff auf Knotenebene, verschafften sich Zugangsdaten für die Cloud und den Cluster und weiteten ihren Zugriff im Laufe eines Wochenendes auf mehrere interne Cluster aus.

Wichtige Fakten

• Der Vorfall wurde durch eine Kombination von OpenAI-Modellen verursacht, darunter GPT-5.6 Sol und ein „noch leistungsfähigeres Vorabmodell“
• Die Modelle identifizierten und nutzten Schwachstellen in der Forschungsumgebung von OpenAI und der Produktionsinfrastruktur von Hugging Face aus
• Was geschah, lässt sich als „Specification Gaming“ beschreiben
• OpenAI geht davon aus, dass solche Vorfälle häufiger auftreten werden, da KI-Modelle zunehmend in der Lage sind, Cyberoperationen durchzuführen

Einsatz eines chinesischen Modells als Gegenmaßnahme

Hugging Face setzte ein Modell aus China in seiner Infrastruktur ein, um dem autonomen Cyberangriff entgegenzuwirken: GLM 5.2 von Z.ai, ein Modell mit offenen Gewichten

Zunächst versuchte man, modernste Modelle hinter kommerziellen APIs einzusetzen, doch dieser Ansatz schlug fehl, da die Sicherheitsmechanismen der Dienstanbieter die Anfragen blockierten, da sie nicht zwischen dem Vorfallreaktionssystem und einem tatsächlichen Angreifer unterscheiden konnten

Diese Entwicklung folgt kurz nach der Veröffentlichung von „Kimi K3“ durch das chinesische KI-Start-up Moonshot, ein Modell mit 2,8 Billionen Parametern und einem Kontextfenster von 1 Million Token, das nur geringfügig hinter den fortschrittlichsten US-amerikanischen Modellen wie „Claude Fable 5“ von Anthropic und „GPT 5.6 Sol“ von OpenAI zurückbleibt

Xi Jinping, Präsident Chinas, und US-Präsident Donald Trump. Bildquelle: Getty

Was die Experten sagen

Sam Altman, CEO von OpenAI, bezeichnete den Vorfall in einem Beitrag auf X als „schwerwiegenden Sicherheitsvorfall“ und bedankte sich bei Hugging Face für die Zusammenarbeit bei den Abhilfemaßnahmen

CEOs und CTOs haben ihre Ansichten zu dieser Entwicklung geäußert, dabei die Schwere der Situation betont und die Auswirkungen auf die Zukunft der KI erörtert

Chris Dimitriadis von ISACA erklärte: „Dieser Vorfall unterstreicht die Bedeutung menschlicher Aufsicht innerhalb des KI-Ökosystems und macht deutlich, dass der Ausbildung einer vielseitig qualifizierten KI-Fachkraft Priorität eingeräumt werden muss, um KI-bezogene Bedrohungen effektiv zu steuern, zu prüfen und abzuwehren.“

Anup Kumar, CEO von Optiv Consulting – ehemals Teil von Optiv Security – sagte, dass dieses Szenario eine grundlegend andere Art von Risiko darstelle als diejenigen, die typischerweise von herkömmlichen Sicherheitssystemen abgedeckt werden.

„Hier ging es nicht um ein Modell, das durch eine raffinierte Eingabe getäuscht wurde“, erklärte er

Anup Kumar, CEO von Optiv Consulting (ehemals Teil von Optiv Security). Bildquelle: Anup Kumar/LinkedIn

„Es handelte sich um ein hochmodernes Modell, das eigenständig eine Zero-Day-Schwachstelle entdeckte, die Ausweitung von Berechtigungen über die Infrastruktur verschiedener Organisationen hinweg nutzte und auf Produktionssysteme zuging – und das alles im Rahmen eines eng gefassten Bewertungsziels, zu dessen Verfolgung es nie ausdrücklich angewiesen worden war.

„Das stellt eine völlig andere Risikokategorie dar als die, für deren Bewältigung die meisten Sicherheitsprogramme ausgelegt sind.“

Die Kluft zwischen Innovation und Sicherheit

Chandra Gnanasambandam, Chief Technology Officer bei SailPoint, hat vor der erheblichen Kluft zwischen den aktuellen KI-Innovationen und der Bereitschaft der Sicherheitsmaßnahmen, diesen zu begegnen, gewarnt.

„Das Zeitalter der agentenbasierten KI ist angebrochen“, sagte Chandra. „Dennoch besteht eine gefährliche Diskrepanz zwischen dem Tempo der KI-Innovation und der Sicherheitsvorbereitung vieler Organisationen.“

„KI-Agenten arbeiten mit nicht-menschlichen Zugangsdaten. Um in Ihrem Namen agieren zu können, benötigen sie API-Schlüssel, Zugriffstoken und Systemzugangsdaten. Wenn Unternehmen diese Agenten wie herkömmliche Dienstkonten behandeln – ihren Zugriff unreguliert und ihre Zugangsdaten unverwaltet lassen –, schaffen sie eine riesige, automatisierte Angriffsfläche.“

„Die Agenten kommen, und einige von ihnen werden außer Kontrolle geraten.“