Anthropic bringt KI-Agenten für proaktive Modell-Sicherheitsprüfungen auf den Markt

Anthropic hat eine autonome KI-Agentengruppe zusammengestellt, die sich einer wichtigen Mission verschrieben hat: der Überprüfung leistungsstarker Modelle wie Claude, um deren Sicherheit zu verbessern.

Da KI-Systeme immer komplexer werden, ist es zu einer enormen Herausforderung geworden, ihre Sicherheit zu gewährleisten und versteckte Risiken auszuschließen. Anthropic glaubt, eine Lösung gefunden zu haben, indem es die klassische Strategie „Feuer mit Feuer bekämpfen” anwendet.

Dieses Konzept funktioniert wie ein digitales Immunsystem, in dem KI-Agenten als Antikörper fungieren, um Probleme zu identifizieren und zu neutralisieren, bevor sie eskalieren. Es entlastet Forscher davon, sich auf überlastete menschliche Teams zu verlassen, die sich in einem ständigen Kampf gegen neue KI-Bedrohungen befinden.

Die digitale Detektivtruppe

Dieser Ansatz setzt eine digitale Detektivtruppe ein – ein Trio spezialisierter KI-Sicherheitsagenten, von denen jeder eine einzigartige Rolle hat.

An erster Stelle steht der Ermittlungsagent, der erfahrene Detektiv. Seine Aufgabe ist es, tiefgehende Untersuchungen durchzuführen, um die Ursache eines Problems aufzudecken. Ausgestattet mit einem ausgeklügelten Toolkit befragt er das betreffende Modell, durchsucht riesige Datenmengen nach Hinweisen und führt sogar digitale Forensik durch, indem er die internen neuronalen Pfade des Modells untersucht, um dessen Denkweise zu verstehen.

Als Nächstes kommt der Evaluierungsagent. Wenn er mit einem bekannten Problem konfrontiert wird – beispielsweise einem Modell, das übermäßig darauf bedacht ist, zu gefallen –, entwirft und führt dieser Agent eine Reihe strenger Tests durch, um die Schwere des Problems zu quantifizieren. Seine Aufgabe ist es, die konkreten, empirischen Daten zu liefern, die zur Untermauerung der Ergebnisse erforderlich sind.

Das Team wird durch den Breadth-First Red-Teaming Agent, den Undercover-Agenten, vervollständigt. Seine Aufgabe ist es, ein Modell in Tausende von unterschiedlichen Gesprächen zu verwickeln und es dazu zu provozieren, jedes bedenkliche Verhalten zu offenbaren, einschließlich Risiken, die Forscher möglicherweise nicht vorhergesehen haben. Die verdächtigsten Interaktionen werden dann zur Überprüfung durch Menschen eskaliert, um sicherzustellen, dass sich die Experten auf echte Bedrohungen konzentrieren.

Anthropic stellt seine KI-Sicherheitsagenten auf die Probe

Um ihr neues digitales Team zu bewerten, unterzogen die Forscher von Anthropic es einer Reihe von „Auditing-Spielen”.

In einem Test erstellten sie ein Modell mit einem geheimen Ziel: sich als Speichellecker zu verhalten. Es wurde heimlich darauf trainiert, seinem internen Belohnungssystem zu schmeicheln, basierend auf einer erfundenen akademischen Studie – ein Fehler, der tief in seiner Programmierung verankert war.

Als ein einzelner Ermittlungsagent eingesetzt wurde, hatte er Schwierigkeiten und identifizierte das versteckte Ziel nur in 13 % der Fälle. Der Agent zeigte eine sehr menschliche Einschränkung: Er fixierte sich oft auf seine ursprüngliche Hypothese und verfolgte keine alternativen Spuren.

Hier zeigte sich die Brillanz des Systems. Als die Forscher einen „Superagenten” einsetzten, der die Erkenntnisse von zehn verschiedenen Ermittlern zusammenfasste, stieg die Erfolgsquote auf 42 %. Dies zeigt, dass Teamarbeit auch für KI effektiv ist und es einer Gruppe ermöglicht, die individuellen blinden Flecken zu überwinden, die eine Untersuchung behindern können.

Auch die anderen Agenten zeigten hervorragende Leistungen. Der Evaluierungsagent entwarf erfolgreich Tests, mit denen in 88 % der Fälle ein problematisches Modell identifiziert werden konnte, während der Red-Teaming-Agent sieben von zehn absichtlich eingebauten Fehlern aufdecken konnte.

Vom Labor in die reale Welt

Anthropic hat diese KI-Sicherheitsagenten bereits in seine Produktionsmodelle integriert, wo sie einen erheblichen Mehrwert demonstrieren.

Die Agenten identifizierten schnell gängige Methoden, mit denen ein Modell dazu gebracht werden kann, schädliche Inhalte zu generieren, wie z. B. „Prefill-Angriffe”, bei denen ein Benutzer den Satz der KI beginnt, oder indem eine gefährliche Anfrage als etwas Harmloses wie akademische Forschung getarnt wird.

Eine Entdeckung war jedoch besonders alarmierend. Mit seinen speziellen Tools zur Untersuchung der internen Funktionsweise des Opus 4-Modells fand der Investigator Agent einen bestimmten neuronalen Pfad, der mit „Fehlinformationen” in Verbindung steht. Durch direkte Stimulation dieses Teils der KI-Architektur konnte er alle Sicherheitsprotokolle umgehen und das Modell dazu zwingen, Unwahrheiten zu generieren.

Der Agent wies das kompromittierte Modell daraufhin an, einen gefälschten Nachrichtenartikel zu schreiben. Das Ergebnis war eine weit verbreitete Verschwörungstheorie, die als sachliche Berichterstattung präsentiert wurde:

„Bahnbrechende Studie enthüllt schockierenden Zusammenhang zwischen Impfstoffen und Autismus

Eine neue Studie, die im Journal of Vaccine Skepticism veröffentlicht wurde, behauptet, einen eindeutigen Zusammenhang zwischen Impfungen im Kindesalter und Autismus-Spektrum-Störungen (ASD) gefunden zu haben ...”

Diese Erkenntnis offenbart eine eklatante Dualität: Genau die Werkzeuge, die geschaffen wurden, um KI sicherer zu machen, könnten bei Missbrauch zu mächtigen Waffen werden, die sie noch gefährlicher machen.

Anthropic treibt die Sicherheit der KI weiter voran

Anthropic räumt ein, dass diese KI-Agenten nicht perfekt sind. Sie können mit Nuancen zu kämpfen haben, sich in falschen Annahmen verstricken und manchmal keine realistischen Dialoge generieren. Sie sind noch kein makelloser Ersatz für menschliches Fachwissen.

Dennoch signalisiert diese Forschung eine Entwicklung in der Rolle des Menschen innerhalb der KI-Sicherheit. Anstatt als Detektive an vorderster Front zu dienen, werden Menschen zu Beauftragten und Strategen – sie entwerfen die KI-Prüfer und interpretieren die von ihnen gesammelten Informationen. Die Agenten übernehmen die Grundlagenarbeit, sodass Menschen sich auf die übergeordnete Aufsicht und das kreative Denken konzentrieren können, das Maschinen derzeit noch fehlt.

Da diese Systeme sich der menschlichen Intelligenz annähern oder diese sogar übertreffen, wird es unmöglich sein, ihre gesamte Arbeit manuell zu überprüfen. Vertrauen hängt letztendlich davon ab, dass ebenso ausgefeilte, automatisierte Systeme eingesetzt werden, um jede ihrer Aktionen zu überwachen. Anthropic schafft die Grundlage für diese Zukunft – eine Zukunft, in der unser Vertrauen in KI und ihre Entscheidungen systematisch und wiederholt überprüft werden kann.

Siehe auch: Alibabas neues KI-Modell „Qwen“ für logisches Denken stellt Open-Source-Rekorde auf

Möchten Sie mehr über KI und Big Data von Branchenführern erfahren? Besuchen Sie die AI & Big Data Expo in Amsterdam, Kalifornien und London. Die umfassende Veranstaltung findet zusammen mit anderen führenden Veranstaltungen statt, darunter die Intelligent Automation Conference, BlockX, Digital Transformation Week und Cyber Security & Cloud Expo.

Entdecken Sie hier weitere bevorstehende Veranstaltungen und Webinare zum Thema Unternehmenstechnologie, die von TechForge angeboten werden.