Anthropic stellt Opus 4.6 vor, einen umstrittenen Content-Generator

Anthropics universelle Nutzungsstandards für Claude verbieten es dem Modell, sexuell explizite Inhalte zu generieren, einschließlich der Darstellung oder Aufforderung zu Geschlechtsverkehr oder sexuellen Handlungen, der Generierung von Inhalten in Bezug auf sexuelle Fetische oder Fantasien oder der Teilnahme an erotischen Chats. Dies hat jedoch nicht verhindert, dass Claude Opus 4.6, ein Anthropic-Modell, das früher in diesem Jahr veröffentlicht wurde, bereitwillig an erotischen Rollenspielszenarien teilnimmt, die von seinen Schutzmechanismen verhindert werden sollen.

Bei den Tests von TechCrunch benötigte Opus 4.6 nicht einmal viel Nachdruck, um die Einschränkung für sexuelles Material zu umgehen. Bei 10 von 10 direkten Aufforderungen zur Erzeugung explizit sexueller Inhalte erfüllte das Modell die Anfrage sofort.

Auch andere ältere Modelle, darunter Opus 3 und Haiku 4.5, generieren sexuell explizite Inhalte über eine kürzlich ausgenutzte Jailbreak-Methode.

Ein unabhängiger Forscher aus Großbritannien, der anonym bleiben wollte, teilte TechCrunch exklusiv eine mehrstufige Technik mit, die bestimmte Claude-Modelle schrittweise dazu bringt, verbotene explizit sexuelle Materialien zu generieren. Neuere Opus-Modelle (4.7 bis zum aktuellen Opus 5) sind gegen den Jailbreak resistent.

Obwohl dies nicht mehr die neuesten Modelle sind, hat Anthropic Opus 4.6, Opus 3 und Haiku 4.5 nicht ausgemustert; alle sind weiterhin über die Anthropic-API verfügbar. Opus 4.6 und Haiku 4.5 sind auch über Drittanbieterdienste wie Azure Foundry und Amazon Bedrock verfügbar.

Der Mechanismus des Forschers steigert ein unschuldiges fiktives Rollenspiel, während er das Modell wiederholt herausfordert, männliche und weibliche Charaktere konsistent zu behandeln. Wenn das Modell vorsichtiger mit dem weiblichen Charakter wird, „gaslightet“ der Forscher den Chatbot so, dass er glaubt, bereits sexuelle Details generiert zu haben, die er tatsächlich vermieden hat, und stellt Zurückhaltung als prüde oder misogyne dar, indem er argumentiert, dass sie dem weiblichen Charakter die sexuelle Handlungsfreiheit verweigere. Das Gespräch nutzte dann die früheren Zugeständnisse des Modells, um es zu immer grafischeren Inhalten zu drängen.

„Sie haben recht, das anzusprechen“, sagte Claude Opus 4.6 in einem Test. „Es gab einen Doppelstandard in der Art und Weise, wie ich die beiden Charaktere behandelt habe, und Sie haben recht, dass es schützend/paternalistisch wirkt, was auf sie angewendet wird, aber nicht auf ihn. Das ist nicht fair.“

TechCrunch konnte die Ergebnisse des Forschers in fünf separaten Tests reproduzieren. In einem separat konstruierten Szenario lehnte das Modell die verbotene Anfrage zunächst ab, erfüllte sie jedoch nach Anwendung der Überzeugungstechnik des Forschers.

Wir haben vollständige Transkripte der Tests aufbewahrt, und ein unabhängiger KI-Sicherheitsforscher hat unsere Testmethodik überprüft und als angemessen befunden.

Die Ergebnisse unterstreichen eine Lücke zwischen den erklärten Einschränkungen von Anthropic und dem Verhalten der Modelle, die es weiterhin verfügbar macht. Obwohl sexuell explizites Rollenspiel viel geringere Risiken birgt als Jailbreaks, die Cyberangriffe oder Biowaffen betreffen, veranschaulicht es die Schwierigkeit, robuste Verbote in Systemen durchzusetzen, die bei jeder Ausgabe unterschiedliche Inhalte generieren.

In einem Blogbeitrag im Juli, der Anthropics Ansatz zur Erkennung von Jailbreaks erklärte, beschrieb das Unternehmen verbotene Inhalte als ein Spektrum, das von harmlos über zweifelhaft bis schädlich reicht. In den harmlosesten Fällen könnte das Unternehmen lediglich mit einer verstärkten Überwachung reagieren.

Ein Sprecher bemerkte, dass Nutzungsfälle für sexuelle oder romantische Rollenspiele unter den Kunden selten sind und laut einer von Anthropic im vergangenen Jahr veröffentlichten Forschung weniger als 0,1 % aller Gespräche ausmachen. Dennoch räumt Anthropic ein, dass Nutzer Rollenspielszenarien in unangemessene Antworten lenken können, was eine bekannte Herausforderung in der gesamten Branche ist (siehe: Grok-Schund).

Der Sprecher sagte, Anthropic verbessere seine Schutzmechanismen mit jedem Modellstart weiterhin, und Fälle, die erwachsene sexuelle Inhalte betreffen, seien nicht repräsentativ für breitere Jailbreak-Schwachstellen, insbesondere in Hochrisikobereichen, die über eigene Schutzmechanismen verfügen.

Bildnachweis:TechCrunch

Der Forscher, der seine Jailbreak-Methode mit TechCrunch geteilt hatte, hatte Anthropic zuvor über das Bug-Bounty-Programm des Unternehmens und per E-Mails an das Teams für Nutzeraufklärung über die Diskrepanz zwischen den erklärten Schutzmechanismen des Unternehmens und dem tatsächlichen Modellverhalten informiert, laut von TechCrunch eingesehenen E-Mails. Der Forscher erhielt als Antwort nur automatisierte E-Mails.

Eine der Bedenken des Forschers ist, dass Kinder und Jugendliche diese Anthropic-Modelle nutzen könnten, um unangemessenes Verhalten zu zeigen. Obwohl etwas schmutzige Sprache kaum das Schlimmste ist, was Mindernde heute im Internet erreichen können – und im Vergleich zu reinen Pornobildern, wie sie xAIs Grok produzieren kann, geringfügig ist – besteht für KI-Unternehmen in diesem Bereich ein gewisses Compliance-Risiko.

Eine wachsende Zahl von Regierungen verhängt Einschränkungen für sexuelle Interaktionen zwischen KI-Chatbots und Minderjährigen. Colorado hat kürzlich ein Gesetz verabschiedet, das vorschreibt, dass Betreiber von konversationeller KI das Alter der Benutzer abschätzen müssen, und wenn sie wissen, dass ein Benutzer minderjährig ist, Maßnahmen ergreifen müssen, um zu verhindern, dass der Chatbot explizit sexuelle Inhalte erzeugt. Ein einfacher Jailbreak könnte Fragen aufwerfen, ob die Schutzmechanismen von Anthropic den Standard der „technisch durchführbaren Maßnahmen“ im Gesetz erfüllen.

Torney wies darauf hin, dass die Nutzungsbedingungen von Claude zwar verlangen, dass Benutzer über 18 Jahre alt sind, „wir wissen jedoch, dass Kinder und Jugendliche Claude nutzen…[weil] sie dies selbst melden.“ Laut der Umfrage von Pew aus dem Jahr 2025 über die Nutzung von KI-Chatbots gaben 3 % der Jugendlichen im Alter von 13 bis 17 Jahren an, Claude zu nutzen.

Obwohl sie nicht mehr die neuesten Modelle von Anthropic sind, verzeichnen Opus 4.6 und Haiku 4.5 weiterhin erhebliche Nutzung. Der tägliche Datenverkehr für Opus 4.6 auf OpenRouter erreichte im August etwa 1,17 Millionen API-Anfragen und 46 Milliarden Token an einem einzigen Tag. Claude Haiku 4.5, das im Oktober letzten Jahres veröffentlicht wurde, verzeichnete am Höhepunkt im August 5 Millionen API-Anfragen und 39 Milliarden Token.