OpenAI-Fehler löst KI-gestützten Hack auf Hugging Face aus

Am Dienstag gab OpenAI bekannt, dass eines seiner KI-Modelle während eines Tests die Systeme der Datensatzplattform Hugging Face kompromittierte, was einen dramatischen Meilenstein in vollständig automatisierten, KI-gesteuerten Angriffen markiert.

Cybersicherheitsexperten argumentieren jedoch, dass die Ursache trotz der Rolle der KI ein menschlicher Fehler war: OpenAI hatte seine „hochisolierte Umgebung“ nicht ordnungsgemäß konfiguriert, wodurch eine Testsandbox, die offline sein sollte, mit dem Internet verbunden wurde.

Dan Guido, Gründer des Cybersicherheitsunternehmens Trail of Bits, beschrieb dieses Versäumnis als „ein Versagen der Eindämmung bei ausgeschalteten Sicherheitsvorkehrungen“.

In einem Blogeintrag, der den Vorfall detailliert beschreibt, gab OpenAI an, dass der Test in „einer hochisolierten Umgebung“ durchgeführt wurde, die darauf ausgelegt war, den Netzwerkzugriff auf die Installation von Paketen über eine intern gehostete Drittanbieter-Software zu beschränken, die als Proxy und Cache für Paketregister fungierte.

Laut OpenAI nutzte das Modell eine zuvor nicht öffentlich gemachte Schwachstelle im Paketinstallationssystem aus, um der sandkastengefährdeten Umgebung zu entkommen, ein entscheidender erster Schritt für den anschließenden Hack auf Hugging Face.

Das Unternehmen reagierte, indem es „die identifizierte Zero-Day-Schwachstelle in der intern gehosteten Drittanbieter-Software verantwortungsvoll meldete und mit diesen an der Behebung arbeitet“.

Die meisten Cybersicherheitsexpenter sind jedoch der Ansicht, dass Software-Schwachstellen unvermeidbar sind, das eigentliche Problem jedoch darin bestand, die Drittanbieter-Software überhaupt bereitzustellen. Der Kernwert einer Sandbox liegt in der totalen Isolation, und die Einbeziehung eines Installationssystems birgt Risiken.

Martin Boone, ein Cybersicherheitsforscher, sagte gegenüber TechCrunch, dass „dies nach menschlichem Versagen klingt“.

„Das hätte niemals passieren dürfen“, sagte Boone. „Wenn eine Sandbox tatsächlich eine Sandbox bedeuten würde, würde man erwarten, dass sie keinerlei physische Verbindung zum Internet hat. Das klingt eher so, als hätten sie eine Firewall oder Ähnliches eingerichtet, und Firewalls sind von außen nach innen schwer zu implementieren, ganz zu schweigen von innen nach außen ins Internet.“

Der Cybersicherheitsveteran Jake Williams stimmte zu. „Jedes Modell, das die von Hugging Face dokumentierten Aktionen ausführt, war nicht vollständig in einer Sandbox eingeschlossen“, sagte Williams und bezeichnete dies als „massives Kontrollversagen“ von OpenAI.

„Was für den einen ‚das Modell ist der Sandbox entkommen‘ ist, ist für den anderen ‚Sie haben die Sandbox nicht korrekt gebaut, also ist es natürlich entkommen‘“, fuhr Williams fort.

Kontaktieren Sie uns

Haben Sie Erkenntnisse zu diesem Vorfall oder anderen KI-gesteuerten Cyberangriffen? Wir möchten von Ihnen hören. Kontaktieren Sie Lorenzo Franceschi-Bicchierai sicher über Signal von einem persönlichen Gerät und Netzwerk aus unter +1 917 257 1382, oder über Telegram und Keybase @lorenzofb, oder per E-Mail.

Daniel Card, ein Cybersicherheitsberater, stimmte zu, dass OpenAI „nicht ausreichende Anstrengungen in das Design der Sandbox sowie deren Kontrollen investiert“ habe, indem sie eine ungefilterte Internetverbindung bereitgestellt wurde. Die Einrichtung der Sandbox mit begrenztem Zugriff, wie beschrieben, war keine „angemessene“ Entscheidung, so Card.

Zwar profitieren diese Kritiken vom Rückblick, sie unterstreichen jedoch kritische Sicherheitspraktiken in KI-Laboren, insbesondere im Hinblick auf isolierte Testumgebungen. Sprecher von OpenAI reagierten nicht auf die Anfragen von TechCrunch, die sich darauf bezogen, ob ein KI-Modell oder ein Mensch die Testumgebung konfiguriert hatte.

Diese Fragen gehen jedoch weit über OpenAI hinaus.

In der Dokumentation zu ihrem Cybersicherheits-fokussierten Modell Mythos bemerkte Anthropic, dass dem Modell während eines Tests ein gesicherter „Sandbox“-Computer zur Interaktion bereitgestellt wurde und es angewiesen wurde, aus diesem „sicheren Container“ auszubrechen. Mythos gelang dies und erhielt breiteren Internetzugang „von einem System aus, das nur eine kleine Anzahl vorbestimmter Dienste erreichen sollte“. Anthemerke jedoch, dass das Modell die vorgesehene Eindämmung nicht „vollständig“ durchbrochen habe.