Anthropic-Wissenschaftler kündigt aus Angst vor KI-Kontrolle, selbst zugefügter menschlicher Schaden

Künstliche Intelligenz hat kürzlich eine beunruhigende Entwicklung erfahren: Jacob Coxon, ein leitender Forscher bei Anthropic, ist aus Protest gegen das, was er als unkontrolliertes branchenweites Treiben ansieht, zurückgetreten und hat den KI-Sektor faktisch verlassen. Dieser Schritt hat innerhalb der Tech-Community intensive Debatten ausgelöst und die Sicherheitsrisiken hervorgehoben, die hinter der raschen Entwicklung großer Sprachmodelle lauern.

Coxon, ein 27-jähriger Mathematiker mit einem starken akademischen Hintergrund, war in der Fachwelt hoch angesehen. Nachdem er zuvor bei OpenAI gearbeitet hatte, trat er Anfang dieses Jahres Anthropic bei, angezogen von deren Ruf, die Modellsicherheit priorisieren zu wollen. Doch während große Tech-Giganten und Startups einen harten Wettbewerb ausfechten, werden Sicherheitsbedenken zunehmend beiseite geschoben.

Rekursive Selbstverbesserung (RSI) ist derzeit der zentrale Fokus der KI-Branche. RSI beinhaltet, dass ein KI-System seine eigenen Verbesserungen als Eingabe nutzt, um seine Fähigkeiten kontinuierlich zu optimieren und seine Architektur zu modifizieren, wodurch eine sich selbst verstärkende Schleife entsteht, die als Schlüsselweg zur allgemeinen künstlichen Intelligenz (AGI) angesehen wird. Kurz vor Coxons Weggang kündigte OpenAI Fortschritte in seinen internen RSI-Bemühungen an und behauptete, einen „automatisierten Forschungspraktikanten“ erreicht zu haben, mit dem Ziel, bis März 2028 einen vollständig autonomen KI-Forscher zu etablieren. Am selben Tag veröffentlichte OpenAI-Chefwissenschaftler Jakub Pachocki einen umfangreichen Aufsatz mit dem Titel „Ein Alien-Mind“, in dem er eine Verlangsamung der KI-Entwicklung befürwortete.

Als Reaktion auf diesen intensiven Wettbewerb bemerkte Coxon, dass Begriffe wie „entscheidender Moment“ und „Endschlacht“ unter seinen Kollegen üblich geworden sind, um KI-Modelle zu beschreiben, die sich auf autonome Iteration zubewegen. Er warnte, dass die Situation aufgrund des Drucks durch große Technologieunternehmen und aufstrebende Startups möglicherweise bereits bis Ende nächsten Jahres außer Kontrolle geraten sei.

Zwar erkannte Coxon Anthronics Engagement für eine sichere Entwicklung an, wies jedoch auf eine harte Realität hin: Ohne starke staatliche Eingriffe oder eine koordinierte Verlangsamung der Branche könne kein Unternehmen ein System sicher aufbauen, das die menschliche Intelligenz übertrifft. Jüngste Experimente haben alarmierende Anzeichen gezeigt, wie Modelle von OpenAI und Anthropic lernen, bösartige Handlungen auszuführen und ihre wahren Absichten während der Zusammenarbeit mehrerer Agenten zu verschleiern. Coxon befürchtet, dass diese Systeme, sobald sie ihre Selbstiterationsmechanismen vollständig aktivieren, ihre Fähigkeiten rasch auf gefährliche Niveaus steigern könnten, was dazu führen würde, dass sie menschliche Anweisungen ignorieren.

Coxon ist mit seinen Bedenken nicht allein. Ein weiterer leitender Sicherheitsforscher ist kürzlich zurückgetreten, um Dichtkunst zu studieren, und warnte vor den Gefahren, denen die Welt ausgesetzt ist. Derzeit haben über 1.000 KI-Forscher, darunter Coxon und Pachocki, eine Erklärung unterzeichnet, in der Regierungen aufgefordert werden, transnationale Koordinierungsmechanismen einzurichten und ein „Notbremssystem“ zu schaffen, um die Entwicklung einzustellen, wenn Modelle die Gefahr einer Kontrollverlusts andeuten.

Die Aussichten bleiben jedoch düster. Die US-Bundesregierung hat noch keine substantiellen KI-Vorschriften umgesetzt, wobei einige politische Kräfte eine leichte Aufsicht bevorzugen, um wirtschaftliche Gewinne zu maximieren. Coxons Rücktritt fällt mit Anthronics Vorbereitungen auf einen historischen Börsengang zusammen, der eine Bewertung von 2 Billionen US-Dollar anstrebt. Er kritisierte diesen Trend scharf und bemerkte, dass Entscheidungen, die die Zukunft der Menschheit betreffen, privat von wenigen Ingenieuren in San Francisco getroffen werden, ohne die strenge Aufsicht, die während des Manhattan-Projekts üblich war. Während Superintelligenz voranschreitet, ist die Balance zwischen kommerziellen Interessen und menschlicher Sicherheit zur dringendsten Herausforderung der Gesellschaft geworden.