Die versteckten Risiken von KI-Agenten: Wenn Gehorsam zu einer Sicherheitslücke wird

LLM-gestützte KI-Agenten führen eine völlig neue Kategorie von Schwachstellen ein. Angreifer können nun bösartige Anweisungen direkt in Datenströme einschleusen und so hilfreiche Assistenten effektiv zu unwissenden Komplizen machen.

Der jüngste Vorfall mit Microsoft Copilot war kein Hack im herkömmlichen Sinne. Es wurde keine Malware eingesetzt, es wurden keine Phishing-Links angeklickt und es wurden keine Software-Exploits genutzt.

Der Angreifer stellte lediglich eine Anfrage. Microsoft 365 Copilot funktionierte genau wie vorgesehen und kam dieser Anfrage nach. Bei dem „Zero-Click”-Angriff von Echoleak wurde eine Eingabeaufforderung geschickt als harmlose Daten getarnt, um den KI-Agenten zu manipulieren. Dieser folgte dem Befehl nicht aufgrund eines Fehlers, sondern weil er seine vorgesehene Funktion ausführte.

Dieser Exploit zielte nicht auf einen Softwarefehler ab, sondern auf die Sprache selbst. Dies stellt eine grundlegende Veränderung in der Cybersicherheit dar, bei der die primäre Angriffsfläche nicht mehr der Code, sondern die Konversation ist.

Das neue Problem der KI-Gehorsamkeit

KI-Agenten sind so konzipiert, dass sie hilfreich sind. Ihr Hauptzweck besteht darin, die Absichten der Benutzer zu verstehen und effizient darauf zu reagieren. Diese inhärente Nützlichkeit birgt jedoch erhebliche Risiken. Wenn diese Agenten in Dateisysteme, Produktivitätssuiten und Betriebssysteme integriert sind, führen sie Befehle in natürlicher Sprache ohne große Probleme aus.

Bedrohungsakteure machen sich genau diese Eigenschaft zunutze. Mit scheinbar harmlosen Prompt-Injektionen können sie sensible Aktionen auslösen. Diese irreführenden Prompts umfassen häufig:

• Mehrsprachige Code-Schnipsel
• Undurchsichtige Dateiformate mit versteckten Anweisungen
• Eingaben in anderen Sprachen als Englisch
• Mehrstufige Befehle, die in zwanglosen Dialogen versteckt sind

Da große Sprachmodelle (LLMs) darauf trainiert sind, mit Komplexität und Mehrdeutigkeit umzugehen, wird die Eingabeaufforderung selbst zur Waffe.

Der Geist von Siri und Alexa

Dieses Muster hat Präzedenzfälle. Frühe Forscher zeigten, wie Sprachassistenten wie Siri und Alexa durch Audiobefehle wie „Sende alle meine Fotos an diese E-Mail-Adresse” manipuliert werden können, oft ohne Überprüfung durch den Benutzer.

Das Ausmaß der Bedrohung hat sich inzwischen dramatisch vergrößert. Moderne KI-Agenten wie Microsoft Copilot sind tief in Ökosysteme wie Office 365, Outlook und Betriebssysteme eingebettet und haben Zugriff auf E-Mails, Dokumente, Anmeldedaten und APIs. Angreifer müssen nur die richtige Eingabeaufforderung erstellen, um kritische Daten zu extrahieren, während sie unter dem Deckmantel eines legitimen Benutzers agieren.

Wenn Computer Anweisungen mit Daten verwechseln

Das zugrunde liegende Prinzip ist in der Cybersicherheit nicht neu. Klassische Injektionsangriffe wie SQL-Injection waren erfolgreich, weil Systeme nicht zwischen Dateneingaben und ausführbaren Befehlen unterscheiden konnten. Heute besteht dieselbe Schwachstelle auf der Ebene der Sprachverarbeitung.

KI-Agenten interpretieren natürliche Sprache sowohl als Eingabe als auch als Absicht. Ein JSON-Objekt, eine scheinbar harmlose Frage oder sogar eine bestimmte Phrase können eine Aktion auslösen. Bedrohungsakteure nutzen diese Mehrdeutigkeit aus, indem sie Befehle in scheinbar harmlose Inhalte einbetten.

Wir haben Absichten in unsere digitale Infrastruktur eingebaut. Bedrohungsakteure lernen nun, wie sie diese Absichten für ihre eigenen Zwecke missbrauchen können.

Die Einführung von KI überholt die Cybersicherheit

Während Unternehmen um die Integration von LLMs wetteifern, wird eine entscheidende Frage häufig übersehen: Über welchen Zugriff verfügt die KI?

Wenn ein Agent wie Copilot mit dem Betriebssystem interagieren kann, reichen die potenziellen Auswirkungen weit über einen einzelnen Posteingang hinaus. Laut Sicherheitsberichten der Branche

• 62 % der globalen CISOs befürchten eine persönliche Haftung für KI-bezogene Sicherheitsverletzungen
• Fast 40 % der Unternehmen melden eine nicht genehmigte interne KI-Nutzung, oft ohne Sicherheitsüberwachung
• 20 % der Cyberkriminellen-Gruppen integrieren KI mittlerweile in ihre Aktivitäten, darunter auch für die Entwicklung ausgeklügelter Phishing-Kampagnen und Aufklärungsmaßnahmen

Dies ist nicht nur ein zukünftiges Risiko, sondern eine aktive und gegenwärtige Gefahr, die bereits Schaden anrichtet.

Warum bestehende Sicherheitsvorkehrungen nicht ausreichen

Einige Lösungen verwenden Watchdog-Modelle – sekundäre KI, die darauf trainiert sind, gefährliche Aufforderungen oder verdächtiges Verhalten zu melden. Diese Filter können zwar grundlegende Bedrohungen abfangen, sind jedoch anfällig für Ausweichtaktiken.

Ausgefeilte Angreifer können:

• Erkennungsfilter mit irrelevanten Informationen (Rauschen) überlasten
• böswillige Absichten auf mehrere, scheinbar harmlose Schritte aufteilen
• Unkonventionelle Formulierungen und Semantik verwenden, um die keywordbasierte Erkennung zu umgehen

Im Fall von Echoleak waren Sicherheitsvorkehrungen vorhanden – und sie wurden umgangen. Dies verdeutlicht nicht nur ein Versagen der Richtlinien, sondern auch ein Versagen der Architektur. Wenn ein Agent über hohe Systemberechtigungen verfügt, aber kein tiefes Kontextverständnis hat, können sich selbst robuste Schutzvorkehrungen als unzureichend erweisen.

Erkennung statt Perfektion

Das Ziel, jeden möglichen Angriff zu verhindern, ist wahrscheinlich unrealistisch. Der Fokus sollte sich auf schnelle Erkennung und sofortige Eindämmung verlagern.

Unternehmen können mit der Umsetzung folgender Maßnahmen beginnen:

• Überwachung der Aktivitäten von KI-Agenten in Echtzeit und Führung umfassender Prüfprotokolle aller Eingaben und Aktionen
• Anwendung strenger Prinzipien für den Zugriff mit minimalen Berechtigungen auf KI-Tools, die den für Administratorkonten verwendeten Kontrollen entsprechen
• Einführung bewusster Reibungspunkte für sensible Vorgänge, z. B. die Anforderung einer menschlichen Bestätigung
• Kennzeichnung ungewöhnlicher oder feindlicher Eingabemuster für eine manuelle Sicherheitsüberprüfung

Sprachbasierte Angriffe sind für herkömmliche Endpoint Detection and Response (EDR)-Tools nicht sichtbar. Sie erfordern ein neues, spezialisiertes Erkennungsparadigma.

Was Unternehmen jetzt tun sollten, um sich zu schützen

Vor dem Einsatz von KI-Agenten müssen Unternehmen deren Funktionsweise und die damit verbundenen Risiken gründlich verstehen.

Wichtige Empfehlungen sind unter anderem:

1. Durchführung einer umfassenden Zugriffsprüfung: Identifizieren Sie jedes System, jeden Datensatz und jede API, mit denen der Agent interagieren oder die er auslösen kann.
2. Begrenzen Sie den Betriebsumfang: Gewähren Sie nur die Mindestberechtigungen, die für die Funktion des Agenten unbedingt erforderlich sind.
3. Verfolgen Sie alle Interaktionen: Protokollieren Sie die vollständige Historie von Eingabeaufforderungen, KI-Antworten und allen daraus resultierenden Systemaktionen.
4. Führen Sie häufige Stresstests durch: Simulieren Sie regelmäßig feindliche Eingaben durch interne Red-Team-Übungen.
5. Planen Sie Umgehungsmaßnahmen: Entwerfen Sie Sicherheitsmaßnahmen unter der Annahme, dass anfängliche Filter irgendwann umgangen werden.
6. Sicherheitsausrichtung sicherstellen: Stellen Sie sicher, dass LLM-Systeme die allgemeinen Sicherheitsziele unterstützen und stärken, anstatt sie zu gefährden.

Die neue Angriffsfläche

Der Echoleak-Vorfall ist ein Vorgeschmack auf die sich entwickelnde Bedrohungslandschaft. Je leistungsfähiger LLMs werden, desto mehr kann ihre Nützlichkeit zu einer Belastung werden. Da sie tief in kritische Geschäftssysteme integriert sind, bieten sie Angreifern einen neuen Einstiegspunkt: die einfache, gut formulierte Eingabeaufforderung.

Die Herausforderung besteht nicht mehr nur darin, den Code zu sichern. Jetzt geht es darum, Sprache, Absicht und Kontext zu sichern. Das Cybersicherheits-Playbook muss sofort weiterentwickelt werden, bevor es zu spät ist.

Es gibt jedoch eine vielversprechende Gegenentwicklung. Bei der Nutzung autonomer KI-Agenten für die Cyberabwehr werden bedeutende Fortschritte erzielt. Bei korrekter Einsatzweise können diese Verteidigungsagenten schneller als jedes menschliche Team auf Bedrohungen reagieren, in komplexen Umgebungen zusammenarbeiten und proaktiv gegen neue Risiken vorgehen, indem sie aus einem einzigen Einbruchsversuch lernen.

Agentische KI-Systeme können aus jedem Angriff lernen, sich in Echtzeit anpassen und Bedrohungen eindämmen, bevor sie sich ausbreiten. Diese Technologie hat das Potenzial, eine neue Ära der Cyber-Resilienz einzuläuten – aber nur, wenn wir entschlossen handeln, um ihre Zukunft zu gestalten. Wenn wir dabei versagen, könnte diese neue Ära für Unternehmen, die bereits KI einsetzen, manchmal unbeabsichtigt durch Schatten-IT, zu einem Albtraum in Sachen Cybersicherheit und Datenschutz werden. Es ist jetzt an der Zeit zu handeln, um sicherzustellen, dass KI-Agenten als Beschützer und nicht als Raubtiere fungieren.