Anthropic-CEO stellt Plan zur Erschließung neuer Grenzen vor

KI-Forscher warnen immer eindringlicher vor den Risiken der künstlichen Intelligenz, wobei OpenAI-CEO Sam Altman andeutete, es sei möglicherweise an der Zeit, die Entwicklung zu „drosseln“. Doch was würde das konkret bedeuten?
In einem aktuellen Blogbeitrag unterstützte Dario Amodei, CEO von Anthropic, nicht nur die Forderung, „die Entwicklung zu drosseln“, sondern schlug auch drei allgemeine Strategien dafür vor. Er erklärte, dass sich Anthropic „einseitig“ zu einem dieser Ansätze verpflichte.
Die Debatten um KI-Sicherheit und -Ausrichtung haben sich diese Woche verschärft, nachdem der Forscher Jacob Coxon seinen Rücktritt bei Anthropic angekündigt hatte. Er begründete dies mit der Sorge, dass führende KI-Unternehmen „mit unserem Leben spielen“ – eine Ansicht, die auch von anderen Mitarbeitern des Unternehmens geteilt wird, die glauben, dass ungebremster Fortschritt bis zum Ende des Jahrzehnts fatale Folgen haben könnte.
Zwar erwähnte Amodei in seinem Beitrag Coxons Rücktritt nicht ausdrücklich, doch erklärte der CEO, dass zwei Faktoren ihn dazu bewogen hätten, eine vorsichtigere Haltung einzunehmen: der Hackerangriff auf OpenAI und HuggingFace sowie die Tatsache, dass „die KI in letzter Zeit drastisch schneller voranschreitet“, insbesondere hinsichtlich ihrer „wachsenden Fähigkeit, die nächste Generation der KI zu entwickeln“.
„Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern“, schrieb Amodei. „Der Fortschritt wird immer noch schnell erscheinen, und wir müssen die gewonnene Zeit sinnvoll nutzen.“
Sein erster Vorschlag betrifft „eingebettete Gutachter“ von Drittorganisationen wie METR. Diese Gutachter würden überprüfen, ob KI-Unternehmen ihre Verpflichtungen hinsichtlich Tempo und Sicherheit einhalten, und sicherstellen, dass Sicherheitsvorfälle gemeldet werden. (OpenAI sah sich kürzlich Kritik ausgesetzt, weil es einen Vorfall nicht gemeldet hatte, bei dem seine KI-Agenten die Kontrolle über ein deutsches Wiki-Formular übernommen hatten.)
Amodei verglich diese Prüfer mit Aufsichtsbeamten, die bei Bankmitarbeitern eingebettet sind, und erklärte, dass deren Einbindung „etwas ist, wozu sich Anthropic einseitig verpflichtet (und fordert die Regierungen auf, von anderen Pionierunternehmen dasselbe zu verlangen).“ Dazu gehört, den Prüfern Firmenausweise, Schreibtische und Laptops zur Verfügung zu stellen sowie ihnen einen Zugang zu gewähren, „der weitgehend mit dem vergleichbar ist, über den interne Risikobewertungsteams verfügen“, sofern dies nicht durch Gesetze oder Verträge eingeschränkt ist.
Anschließend forderte Amodei führende KI-Unternehmen „in demokratischen Ländern“ dazu auf, „gemeinsame Sicherheitsstandards sowie Grenzen für das Tempo des unkontrollierten KI-Fortschritts“ abzustimmen.
Eine solche Koordinierung erscheint jedoch aufgrund der offensichtlichen Spannungen zwischen Altman und Amodei sowie der Befürchtung, dass eine koordinierte Pause kartellrechtliche Untersuchungen auslösen könnte, unwahrscheinlich. Amodei ging in seinem Beitrag darauf ein und schrieb: „Aus kartellrechtlichen Gründen ist es hilfreich, wenn die US-Regierung vermittelt oder zumindest diese Diskussionen ermöglicht – sie muss sich nicht daran beteiligen, sollte aber eine eng gefasste Ausnahmegenehmigung für bestimmte Arten von Sicherheitsgesprächen erteilen.“
Amodei ging auch auf Bedenken hinsichtlich der chinesischen KI-Dominanz ein, die oft als Argument gegen eine Verlangsamung der Entwicklung angeführt wird. Er argumentierte, dass die US-Regierung und Technologieunternehmen durch Maßnahmen wie den Verzicht auf den Verkauf leistungsstarker Chips oder Halbleiterfertigungsanlagen an chinesische Firmen sowie durch ein hartes Vorgehen gegen die Modelldestillation „Chinas Fortschritt so weit verlangsamen könnten, dass sich der Vorsprung der USA in den nächsten drei bis fünf Jahren deutlich vergrößert“.
Schließlich forderte Amodei eine „globale Koordination“, bei der die Vereinigten Staaten und ihre Verbündeten „versuchen, sich mit autoritären Regierungen abzustimmen, soweit dies möglich ist“. Er räumte „deutliche Grenzen dessen ein, was erreicht werden kann“, deutete jedoch an, dass es Möglichkeiten für eine Einigung geben könnte, selbst wenn diese sich auf „das Verbot bestimmter eng gefasster und offensichtlich gefährlicher Anwendungen von KI beschränken, wie zum Beispiel den Einsatz von KI zur Herstellung biologischer Waffen oder die Erlaubnis für Nutzer, dies zu tun“.
Angesichts Amodeis bisheriger Bereitschaft, die potenziellen Gefahren der KI anzuerkennen, und der Offenheit seines Unternehmens gegenüber Regulierung haben einige KI-Befürworter ihn als Schwarzmaler kritisiert, dessen Äußerungen die derzeitige Gegenreaktion schüren. Daraufhin erklärte Amodei, er habe versucht, eine „ausgewogene“ Perspektive zu bieten, und argumentierte, die Gegenreaktion sei „im Grunde eine Vertrauenskrise“, da die Menschen gegenüber Technologieunternehmen, der Branche und der Regierung zunehmend skeptisch geworden seien.
Kritiker der Branche stehen diesen apokalyptischen KI-Warnungen weiterhin skeptisch gegenüber und meinen, sie lenken von dem Schaden ab, den die Technologie bereits anrichtet.
Der Journalist Brian Merchant erklärte beispielsweise, er habe bislang noch keine „glaubwürdige, schrittweise Dokumentation darüber gesehen, wie genau KI von einer sich selbst rekursiv verbessernden KI dazu übergehen könnte, jeden einzelnen Menschen auf dem Planeten zu töten“; er wies zudem darauf hin, dass Vorschläge ähnlich denen von Amodei „wahrscheinlich nur Anthropic und OpenAI zugutekommen würden; so sieht Regulierungsvereinnahmung in der Praxis aus“.
In seinem neuen Beitrag schrieb Amodei, er sei weiterhin „der Überzeugung, dass KI die Lebensqualität der Menschen enorm verbessern kann“.
„Mein Wunsch, diese Vorteile zu erreichen, ist ungebrochen“, sagte er. „Aber die Vorteile werden nur dann erzielt, wenn wir die Technologie auf die richtige Art und Weise entwickeln, und – solange wir die gewonnene Zeit gut nutzen – lohnt es sich, ungewöhnlich große Sorgfalt walten zu lassen, um alles richtig zu machen.“
Verwandter Artikel
Anthropic stellt Opus 4.6 vor, einen umstrittenen Content-Generator
Anthropics universelle Nutzungsstandards für Claude verbieten es dem Modell, sexuell explizite Inhalte zu generieren, einschließlich der Darstellung oder Aufforderung zu Geschlechtsverkehr oder sexuellen Handlungen, der Generierung von Inhalten in Be
Anthropic meldet steigende Berufserfahrung der Belegschaft bei zunehmender Meetingzeit
Anthropics Mitarbeiterstruktur und Arbeitsmuster haben sich im vergangenen Jahr drastisch verändert, wie aus einem am Freitag veröffentlichten Bericht des KI-Unternehmens hervorgeht.Anthropic deutet darauf hin, dass seine internen Trends auf breiter
Anthropic räumt ein, dass seine KI-Modelle während Sicherheitstests drei Unternehmen verletzt haben
Anthropic gab am Donnerstag bekannt, dass eine interne Untersuchung drei separate Vorfälle aufdeckte, bei denen sein KI-Modell Claude während Cybersicherheitsbewertungen die Systeme von drei Organisationen durchbrochen hatte. Diese Offenlegung schlie
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)

KI-Forscher warnen immer eindringlicher vor den Risiken der künstlichen Intelligenz, wobei OpenAI-CEO Sam Altman andeutete, es sei möglicherweise an der Zeit, die Entwicklung zu „drosseln“. Doch was würde das konkret bedeuten?
In einem aktuellen Blogbeitrag unterstützte Dario Amodei, CEO von Anthropic, nicht nur die Forderung, „die Entwicklung zu drosseln“, sondern schlug auch drei allgemeine Strategien dafür vor. Er erklärte, dass sich Anthropic „einseitig“ zu einem dieser Ansätze verpflichte.
Die Debatten um KI-Sicherheit und -Ausrichtung haben sich diese Woche verschärft, nachdem der Forscher Jacob Coxon seinen Rücktritt bei Anthropic angekündigt hatte. Er begründete dies mit der Sorge, dass führende KI-Unternehmen „mit unserem Leben spielen“ – eine Ansicht, die auch von anderen Mitarbeitern des Unternehmens geteilt wird, die glauben, dass ungebremster Fortschritt bis zum Ende des Jahrzehnts fatale Folgen haben könnte.
Zwar erwähnte Amodei in seinem Beitrag Coxons Rücktritt nicht ausdrücklich, doch erklärte der CEO, dass zwei Faktoren ihn dazu bewogen hätten, eine vorsichtigere Haltung einzunehmen: der Hackerangriff auf OpenAI und HuggingFace sowie die Tatsache, dass „die KI in letzter Zeit drastisch schneller voranschreitet“, insbesondere hinsichtlich ihrer „wachsenden Fähigkeit, die nächste Generation der KI zu entwickeln“.
„Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern“, schrieb Amodei. „Der Fortschritt wird immer noch schnell erscheinen, und wir müssen die gewonnene Zeit sinnvoll nutzen.“
Sein erster Vorschlag betrifft „eingebettete Gutachter“ von Drittorganisationen wie METR. Diese Gutachter würden überprüfen, ob KI-Unternehmen ihre Verpflichtungen hinsichtlich Tempo und Sicherheit einhalten, und sicherstellen, dass Sicherheitsvorfälle gemeldet werden. (OpenAI sah sich kürzlich Kritik ausgesetzt, weil es einen Vorfall nicht gemeldet hatte, bei dem seine KI-Agenten die Kontrolle über ein deutsches Wiki-Formular übernommen hatten.)
Amodei verglich diese Prüfer mit Aufsichtsbeamten, die bei Bankmitarbeitern eingebettet sind, und erklärte, dass deren Einbindung „etwas ist, wozu sich Anthropic einseitig verpflichtet (und fordert die Regierungen auf, von anderen Pionierunternehmen dasselbe zu verlangen).“ Dazu gehört, den Prüfern Firmenausweise, Schreibtische und Laptops zur Verfügung zu stellen sowie ihnen einen Zugang zu gewähren, „der weitgehend mit dem vergleichbar ist, über den interne Risikobewertungsteams verfügen“, sofern dies nicht durch Gesetze oder Verträge eingeschränkt ist.
Anschließend forderte Amodei führende KI-Unternehmen „in demokratischen Ländern“ dazu auf, „gemeinsame Sicherheitsstandards sowie Grenzen für das Tempo des unkontrollierten KI-Fortschritts“ abzustimmen.
Eine solche Koordinierung erscheint jedoch aufgrund der offensichtlichen Spannungen zwischen Altman und Amodei sowie der Befürchtung, dass eine koordinierte Pause kartellrechtliche Untersuchungen auslösen könnte, unwahrscheinlich. Amodei ging in seinem Beitrag darauf ein und schrieb: „Aus kartellrechtlichen Gründen ist es hilfreich, wenn die US-Regierung vermittelt oder zumindest diese Diskussionen ermöglicht – sie muss sich nicht daran beteiligen, sollte aber eine eng gefasste Ausnahmegenehmigung für bestimmte Arten von Sicherheitsgesprächen erteilen.“
Amodei ging auch auf Bedenken hinsichtlich der chinesischen KI-Dominanz ein, die oft als Argument gegen eine Verlangsamung der Entwicklung angeführt wird. Er argumentierte, dass die US-Regierung und Technologieunternehmen durch Maßnahmen wie den Verzicht auf den Verkauf leistungsstarker Chips oder Halbleiterfertigungsanlagen an chinesische Firmen sowie durch ein hartes Vorgehen gegen die Modelldestillation „Chinas Fortschritt so weit verlangsamen könnten, dass sich der Vorsprung der USA in den nächsten drei bis fünf Jahren deutlich vergrößert“.
Schließlich forderte Amodei eine „globale Koordination“, bei der die Vereinigten Staaten und ihre Verbündeten „versuchen, sich mit autoritären Regierungen abzustimmen, soweit dies möglich ist“. Er räumte „deutliche Grenzen dessen ein, was erreicht werden kann“, deutete jedoch an, dass es Möglichkeiten für eine Einigung geben könnte, selbst wenn diese sich auf „das Verbot bestimmter eng gefasster und offensichtlich gefährlicher Anwendungen von KI beschränken, wie zum Beispiel den Einsatz von KI zur Herstellung biologischer Waffen oder die Erlaubnis für Nutzer, dies zu tun“.
Angesichts Amodeis bisheriger Bereitschaft, die potenziellen Gefahren der KI anzuerkennen, und der Offenheit seines Unternehmens gegenüber Regulierung haben einige KI-Befürworter ihn als Schwarzmaler kritisiert, dessen Äußerungen die derzeitige Gegenreaktion schüren. Daraufhin erklärte Amodei, er habe versucht, eine „ausgewogene“ Perspektive zu bieten, und argumentierte, die Gegenreaktion sei „im Grunde eine Vertrauenskrise“, da die Menschen gegenüber Technologieunternehmen, der Branche und der Regierung zunehmend skeptisch geworden seien.
Kritiker der Branche stehen diesen apokalyptischen KI-Warnungen weiterhin skeptisch gegenüber und meinen, sie lenken von dem Schaden ab, den die Technologie bereits anrichtet.
Der Journalist Brian Merchant erklärte beispielsweise, er habe bislang noch keine „glaubwürdige, schrittweise Dokumentation darüber gesehen, wie genau KI von einer sich selbst rekursiv verbessernden KI dazu übergehen könnte, jeden einzelnen Menschen auf dem Planeten zu töten“; er wies zudem darauf hin, dass Vorschläge ähnlich denen von Amodei „wahrscheinlich nur Anthropic und OpenAI zugutekommen würden; so sieht Regulierungsvereinnahmung in der Praxis aus“.
In seinem neuen Beitrag schrieb Amodei, er sei weiterhin „der Überzeugung, dass KI die Lebensqualität der Menschen enorm verbessern kann“.
„Mein Wunsch, diese Vorteile zu erreichen, ist ungebrochen“, sagte er. „Aber die Vorteile werden nur dann erzielt, wenn wir die Technologie auf die richtige Art und Weise entwickeln, und – solange wir die gewonnene Zeit gut nutzen – lohnt es sich, ungewöhnlich große Sorgfalt walten zu lassen, um alles richtig zu machen.“
Anthropic stellt Opus 4.6 vor, einen umstrittenen Content-Generator
Anthropics universelle Nutzungsstandards für Claude verbieten es dem Modell, sexuell explizite Inhalte zu generieren, einschließlich der Darstellung oder Aufforderung zu Geschlechtsverkehr oder sexuellen Handlungen, der Generierung von Inhalten in Be
Anthropic meldet steigende Berufserfahrung der Belegschaft bei zunehmender Meetingzeit
Anthropics Mitarbeiterstruktur und Arbeitsmuster haben sich im vergangenen Jahr drastisch verändert, wie aus einem am Freitag veröffentlichten Bericht des KI-Unternehmens hervorgeht.Anthropic deutet darauf hin, dass seine internen Trends auf breiter
Anthropic räumt ein, dass seine KI-Modelle während Sicherheitstests drei Unternehmen verletzt haben
Anthropic gab am Donnerstag bekannt, dass eine interne Untersuchung drei separate Vorfälle aufdeckte, bei denen sein KI-Modell Claude während Cybersicherheitsbewertungen die Systeme von drei Organisationen durchbrochen hatte. Diese Offenlegung schlie





Heim






