KI-Sicherheit ist eine Herausforderung in Echtzeit für alle, auch für Google

Vor kurzem hatte ich die Gelegenheit, mich hinter den Kulissen einer Veranstaltung in Los Angeles mit Francis de Souza, dem COO von Google Cloud, zu unterhalten. Inmitten des Umgebungslärms gab de Souza – der mit der ruhigen, bedächtigen Stimme eines Universitätsprofessors spricht – praktische Ratschläge für Unternehmen, die sich in der heutigen KI-Sicherheitslandschaft zurechtfinden müssen. Er merkte an: „Es wird eine Übergangsphase geben, und dann werden wir meiner Meinung nach an einem besseren Punkt angelangt sein.“

Er sprach in diesem Moment zwar nicht speziell über Google, aber es ist klar, dass selbst Google noch dabei ist, diese Herausforderungen zu bewältigen.

De Souzas Kernbotschaft ist eine, die Sicherheitsexperten Führungskräften schon lange zu vermitteln versuchen und die durch KI nun an Dringlichkeit gewonnen hat: Sicherheit darf kein nachträglicher Einfall sein. „Wenn Unternehmen diesen KI-Weg einschlagen, müssen sie einen Plattformansatz verfolgen“, sagte er. „Sicherheit ist nichts, was man später noch anfügen kann, und es ist auch nichts, was man den Mitarbeitern überlassen kann, damit sie es selbst regeln.“ Er warnte insbesondere vor „Schatten-KI“ – also Mitarbeitern, die Consumer-Tools ohne betriebliche Aufsicht nutzen – und argumentierte, dass Unternehmen von ihren Plattformen von Anfang an Sicherheit, Governance und Nachprüfbarkeit einfordern müssen. „Es gibt keine KI-Strategie ohne eine Datenstrategie und eine Sicherheitsstrategie. Sie müssen Hand in Hand gehen.“

Bemerkenswert: Er warb nicht ausschließlich für Google Cloud. Als ich anmerkte, dass sein Rat wie eine Google-Werbung klinge, widersprach er. Google, so sagte er, setze auf einen Multi-Cloud-Ansatz, und er argumentierte, dass Unternehmen, die glauben, sie würden in einer einzigen Cloud arbeiten, dies mit ziemlicher Sicherheit nicht tun. „Selbst wenn sie sich für eine einzige Cloud entscheiden, sind sie auf SaaS-Anwendungen angewiesen, und es gibt Geschäftspartner, die möglicherweise andere Clouds nutzen“, sagte er. „Für Unternehmen ist es wichtig, über eine Sicherheitsstrategie zu verfügen, die über alle Clouds und Modelle hinweg einheitlich ist.“

Er führte außerdem an, dass sich die Bedrohungslandschaft so grundlegend verändert habe, dass alte Verteidigungsmodelle zu langsam seien. Er wies darauf hin, dass die durchschnittliche Zeit zwischen einem ersten Einbruch und dem Übergang zur nächsten Phase eines Angriffs von acht Stunden auf 22 Sekunden gesunken sei und dass sich die Angriffsfläche über den traditionellen Netzwerkperimeter hinaus ausgeweitet habe. „Zusätzlich zu Ihrer üblichen Infrastruktur verfügen Sie nun über Modelle. Sie haben Datenpipelines, die zum Trainieren der Modelle verwendet werden. Sie haben Agenten, Sie haben Eingabeaufforderungen. All dies muss geschützt werden.“

Eine von de Souza hervorgehobene Bedrohung, die nicht genügend Beachtung findet: Agenten, die sich durch die internen Systeme eines Unternehmens bewegen, können vergessene Datenspeicher aufspüren, an die seit Jahren niemand mehr gedacht hat. „Viele Unternehmen verfügen über alte SharePoint-Server [und Zugriffskontrollen], die sie nicht wirklich aktualisiert haben, aber das spielte keine Rolle, da niemand wirklich wusste, wo sie sich befanden. Doch Agenten, die sich in Ihrem Unternehmen bewegen, werden diese Datenbestände finden und die darauf gespeicherten Daten offenlegen.“

Die Lösung besteht seiner Ansicht nach darin, der Geschwindigkeit der Maschinen mit der Geschwindigkeit der Maschinen zu begegnen. „Wir erleben derzeit die Entstehung einer KI-nativen, vollständig agentenbasierten Verteidigung, bei der Unternehmen Agenten einsetzen können, die ihre Verteidigung steuern“, sagte er. „Anstelle einer von Menschen geleiteten Verteidigung oder gar eines Menschen im Regelkreis können Menschen nun eine vollständig agentenbasierte Verteidigung beaufsichtigen.“ Er fügte hinzu, dass dies zu einer Frage der Unternehmensführung geworden sei und nicht mehr nur eine technologische Herausforderung darstelle. „Dies ist ein Thema auf Vorstandsebene und für die Geschäftsleitung. Es ist nicht nur eine Angelegenheit des Sicherheitsteams.“

Doch selbst wenn KI einen immer größeren Teil der Verteidigungsarbeit übernimmt, mangelt es an qualifizierten Fachkräften, die diese beaufsichtigen können – und die Schwachstellen, die die KI selbst mit sich bringt, vermehren sich schneller, als Sicherheitsteams sie beheben können. „Wir werden Leute brauchen, die sich mit der ‚Bug-pokalypse‘ auseinandersetzen“, sagte Lea Kissner, Chief Information Security Officer bei LinkedIn, diese Woche gegenüber der New York Times und fügte hinzu, dass sie nicht davon ausgeht, dass die Branche die KI-Sicherheit zumindest in den nächsten Jahren auf nachhaltige Weise verstehen wird.

Das bringt uns zurück zu den Plattformanbietern selbst. The Register hat in den vergangenen Wochen eine Reihe von Berichten veröffentlicht, die eine Welle von Google-Cloud-Entwicklern dokumentieren, denen nach unbefugten API-Aufrufen an Gemini-Modelle fünfstellige Rechnungen in Rechnung gestellt wurden – Dienste, die viele von ihnen noch nie genutzt oder absichtlich aktiviert hatten. Die Fälle folgten einem bekannten Muster: API-Schlüssel, die ursprünglich für Google Maps bereitgestellt und gemäß den Anweisungen von Google öffentlich zugänglich gemacht worden waren, konnten plötzlich unbemerkt auf Gemini zugreifen, nachdem Google ihren Geltungsbereich erweitert hatte, ohne diese Änderung klar offenzulegen.

Rod Danan, CEO der Plattform „Prentus“ zur Vorbereitung auf Vorstellungsgespräche, sagte, seine Rechnung sei innerhalb von etwa 30 Minuten auf 10.138 US-Dollar angestiegen, nachdem Angreifer seinen kompromittierten API-Schlüssel ausgenutzt hatten. Isuru Fonseka, ein in Sydney ansässiger Entwickler, dessen Konto auf ähnliche Weise kompromittiert wurde, wachte mit Gebühren in Höhe von rund 17.000 AUD auf, obwohl er davon ausgegangen war, dass ein Ausgabenlimit von 250 $ eingerichtet war. Was beide nicht wussten: Die automatisierten Systeme von Google hatten ihre Abrechnungsstufen auf Grundlage der Kontohistorie angehoben und damit ihre effektiven Obergrenzen ohne ausdrückliche Zustimmung auf bis zu 100.000 US-Dollar erhöht.

Google erstattete beiden die Beträge zurück, nachdem „The Register“ seinen ersten Bericht veröffentlicht hatte. Dennoch teilte Google „The Register“ mit, dass es keine Pläne gebe, seine Richtlinie zur automatischen Anhebung der Abrechnungsstufen zu ändern, da die Vermeidung von Dienstausfällen Vorrang vor der Durchsetzung der von den Nutzern angegebenen Budgetpräferenzen habe.

Unterdessen stellt sich die separate Frage, was passiert, wenn ein Entwickler versucht, Dienste zu deaktivieren. „The Register“ berichtete diese Woche über Untersuchungen des Sicherheitsunternehmens Aikido, wonach selbst Entwickler, die einen kompromittierten Schlüssel entdecken und diesen sofort löschen, möglicherweise nicht sicher sind. Den Erkenntnissen von Aikido zufolge können Angreifer diesen Schlüssel offenbar bis zu 23 Minuten lang weiterverwenden, da die Sperrung durch Google nur schrittweise in der gesamten Infrastruktur wirksam wird. Joseph Leon, Forscher bei Aikido, erklärte gegenüber „The Register“, dass die Erfolgsraten während dieses Zeitfensters unvorhersehbar seien – in manchen Minuten würden noch über 90 % der Anfragen authentifiziert – und dass Angreifer diese Zeit nutzen könnten, um Dateien und zwischengespeicherte Konversationsdaten aus Gemini zu entwenden.

Leon merkte außerdem an, dass Googles eigene neuere Formate für Anmeldeinformationen offenbar nicht das gleiche Problem aufweisen: API-Anmeldeinformationen für Dienstkonten werden in etwa fünf Sekunden widerrufen, und bei Gemini dauert es bei dem neueren Schlüsselformat mit dem Präfix „AQ“ etwa eine Minute. „Beide laufen im Google-Maßstab“, schrieb er in der entsprechenden Veröffentlichung von Aikido. „Beide deuten darauf hin, dass dies auch für Google-API-Schlüssel technisch lösbar ist.“ Kurz gesagt: Laut Leon ist das 23-minütige Zeitfenster keine technische Einschränkung, sondern eine Frage der Prioritäten des Unternehmens.

Das sollte man bedenken, wenn man de Souzas Ratschlag liest, der fundiert ist und sehr ernst genommen werden sollte. Er hat nicht Unrecht, aber derzeit besteht eine Diskrepanz zwischen dem, was die Plattformen vorschreiben, und der Geschwindigkeit, mit der sie sich selbst anpassen – und es ist gut, sich dessen ebenfalls bewusst zu sein.