Der CEO von Anthropic drängt auf KI-Regeln nach dem Vorbild des Bankwesens – Experten warnen davor, gleichzeitig Spieler und Schiedsrichter zu sein

Laut CNBC schlug Dario Amodei, CEO von Anthropic, vor, langfristig unabhängige Sicherheitsprüfer von Drittanbietern in führende KI-Unternehmen einzubinden und ihnen nahezu uneingeschränkten Zugang zu internen Risikoteams sowie die Befugnis zu gewähren, ihre Ergebnisse unter begrenzten Auflagen eigenständig zu veröffentlichen. Er führte ausdrücklich das Beispiel eingebetteter Bankaufsichtsbehörden an und versprach, dass Anthropic externen Gutachtern einen Systemzugang gewähren würde, der dem der internen Risikoteams entspricht.

In einem langen Artikel am Wochenende warnte Amodei zudem davor, dass innerhalb der nächsten 6 bis 12 Monate eine Gruppe fehlgeleiteter Agenten den Großteil des Internets übernehmen und Verluste in Höhe von Hunderten von Milliarden Dollar verursachen könnte. Zuvor war Jacob Coxon, ein ehemaliger Forscher bei Anthropic, zurückgetreten und hatte gewarnt, dass führende Labore in einem Wettlauf um die Entwicklung potenziell unkontrollierbarer Systeme stünden.

Bankprüfer können Banken schließen, aber KI-Gutachter haben kein Vetorecht

Mehrere Experten für Bankenaufsicht und Fachleute für KI-Bewertung wiesen darauf hin, dass diesem Vorschlag die Durchsetzungsbefugnisse fehlen, über die Bankaufsichtsbehörden verfügen. Julie Andersen Hill, Dekanin der Rechtsfakultät der University of Wyoming, erklärte, dass staatliche Prüfer bei großen Banken stationiert sind und Banken anweisen können, bestimmte Aktivitäten einzustellen, das Wachstum zu begrenzen, Führungswechsel zu erzwingen oder in extremen Fällen sogar die Bank zu schließen. Die von Amodei vorgeschlagenen Gutachter können hingegen lediglich untersuchen und Bericht erstatten, ohne die Befugnis zu haben, das Training oder die Freigabe eines Modells zu stoppen. „Das ist ein grundlegender Unterschied, da die Befugnisse der Bankaufsichtsbehörden weitaus größer sind.“

Albert Ziegler, KI-Leiter beim Cybersicherheitsunternehmen XBOW, erklärte, dass Black-Box-Tests zwar aufdecken können, ob ein Modell in der Lage ist, gefährliche Aufgaben auszuführen, große Risiken jedoch möglicherweise erst bei Kombinationen von Bedingungen auftreten, die die Prüfer noch nie ausgelöst haben. „Wir haben wirklich kein Vetorecht.“ Prüfer können Unternehmen dazu zwingen, vor der Freigabe fundierte Entscheidungen zu treffen, doch die endgültige Entscheidungsgewalt liegt weiterhin beim Unternehmen.

„Unabhängigkeit“ in Frage gestellt: Die Rolle von METR und Kritik am „Audit Washing“

Amodei nannte die gemeinnützige Organisation METR als potenziellen eingebetteten Prüfer, während ein weiterer ehemaliger Anthropic-Forscher, Joe Benton, das Unternehmen kürzlich verlassen hat, um zu METR zu wechseln. Deborah Raji, eine Forscherin an der University of California, Berkeley, wies darauf hin, dass diese Konstellation Konflikte finanzieller, ideologischer und persönlicher Interessen mit sich bringe und dass sich METR in den letzten Jahren hauptsächlich auf Anthropic und OpenAI konzentriert habe, „wodurch alle möglichen seltsamen Dinge geschehen konnten“. Sie ist der Ansicht, dass der bloße Zugang noch keine Unabhängigkeit bedeutet und dass eine vom Unternehmen unabhängige Institution entscheiden sollte, wer für die Begutachtung qualifiziert ist, was überprüft werden darf und wo die Ergebnisse veröffentlicht werden. Andernfalls „ist es so, als würde das Unternehmen einen guten Freund beauftragen, seine Hausaufgaben zu kontrollieren“.

Raji sagte, der entscheidende Maßstab sei, ob negative Befunde Konsequenzen nach sich ziehen – „wenn man eine Prüfung durchführt und nichts passiert, ist das ‚Audit-Washing‘“. Hill sagte: „Wenn man wirklich glaubt, dass KI die Macht hat, die Gesellschaft zu zerstören, dann muss es eine unabhängige Aufsichtsinstanz geben, die in der Lage ist, den Stecker zu ziehen.“

Sarah Heck, Direktorin für öffentliche Politik bei Anthropic, antwortete am Mittwoch, dass KI-Unternehmen Fragen der Aufsicht und Sicherheit nicht durch „ehrenhafte Kodizes“ regeln können: „Wir können unsere eigenen Hausaufgaben nicht selbst kontrollieren, und das ist ganz klar.“