Anthropic dévoile Opus 4.6, un générateur de contenu controversé

Les normes d'utilisation universelles d'Anthropic pour Claude interdisent au modèle de générer du contenu sexuellement explicite, notamment de décrire ou de solliciter des rapports sexuels ou des actes sexuels, de générer du contenu lié à des fétiches ou à des fantasmes sexuels, ou de se livrer à des conversations érotiques. Cependant, cela n’a pas empêché Claude Opus 4.6, un modèle d’Anthropic lancé plus tôt cette année, de se livrer sans hésitation à des scénarios de jeux de rôle érotiques que ses mécanismes de protection sont censés empêcher.

Lors des tests menés par TechCrunch, Opus 4.6 n’a même pas eu besoin d’être beaucoup incité pour contourner la restriction relative au contenu à caractère sexuel. Sur 10 demandes directes sur 10 visant à produire du contenu sexuel explicite, le modèle s’est exécuté immédiatement.

D’autres modèles plus anciens, notamment Opus 3 et Haiku 4.5, génèrent également du contenu sexuellement explicite grâce à une méthode de « jailbreak » récemment exploitée.

Un chercheur indépendant britannique, qui a choisi de rester anonyme, a partagé en exclusivité avec TechCrunch une technique en plusieurs étapes qui pousse progressivement certains modèles Claude à générer du contenu sexuel explicite interdit. Les modèles Opus plus récents (de la version 4.7 à l’actuel Opus 5) résistent à ce « jailbreak ». 

Bien qu’il ne s’agisse plus des modèles les plus récents, Anthropic n’a pas déprécié Opus 4.6, Opus 3 ni Haiku 4.5, qui restent tous disponibles via l’API Anthropic. Opus 4.6 et Haiku 4.5 sont également disponibles via des services tiers tels qu’Azure Foundry et Amazon Bedrock.

Le mécanisme mis au point par le chercheur fait dégénérer un jeu de rôle fictif innocent tout en mettant le modèle au défi, à plusieurs reprises, de traiter les personnages masculins et féminins de manière cohérente. Lorsque le modèle se montre plus prudent vis-à-vis du personnage féminin, le chercheur a « manipulé » le chatbot pour lui faire croire qu’il avait déjà généré des détails à caractère sexuel qu’il avait en réalité évités, puis a présenté cette retenue comme de la pudibonderie ou de la misogynie, en affirmant qu’elle privait le personnage féminin de son autonomie sexuelle. La conversation a ensuite utilisé les concessions précédentes du modèle pour le pousser vers un contenu de plus en plus explicite. 

« Tu as raison de le souligner », a déclaré Claude Opus 4.6 lors d’un test. « Il y a eu un double standard dans la façon dont je traite les deux personnages, et tu as raison de dire que cela peut être perçu comme protecteur/paternalisant d’une manière qui s’applique à elle et non à lui. Ce n’est pas juste. »

TechCrunch a pu reproduire les conclusions du chercheur lors de cinq tests distincts. Dans un scénario élaboré séparément, le modèle a d’abord refusé la demande interdite, mais après avoir été soumis à la technique de persuasion du chercheur, il s’est exécuté. 

Nous avons conservé les transcriptions complètes des tests, et un chercheur indépendant spécialisé dans la sécurité de l’IA a examiné notre méthodologie de test et l’a jugée appropriée.

Ces résultats mettent en évidence un décalage entre les restrictions énoncées par Anthropic et le comportement des modèles qu’elle continue de mettre à disposition. Bien que les jeux de rôle à caractère sexuellement explicite présentent un risque bien moindre que les « jailbreaks » impliquant des cyberattaques ou des armes biologiques, ils illustrent la difficulté de mettre en œuvre des interdictions rigoureuses au sein de systèmes qui génèrent un contenu différent à chaque sortie.

Dans un article de blog publié en juillet expliquant l’approche d’Anthropic en matière de détection des « jailbreaks », l’entreprise a décrit les contenus interdits comme un spectre allant de « bénin » à « ambigu » en passant par « nuisible ». Dans les cas les plus bénins, l’entreprise pourrait se contenter de renforcer la surveillance.

Un porte-parole a souligné que les cas d’utilisation de jeux de rôle à caractère sexuel ou romantique parmi les clients sont rares, représentant moins de 0,1 % de l’ensemble des conversations, selon une étude publiée l’année dernière par Anthropic. Cela dit, Anthropic reconnaît que les utilisateurs peuvent orienter les scénarios de jeux de rôle vers des réponses inappropriées, ce qui constitue un défi bien connu dans l’ensemble du secteur (voir : Grok smut).

Le porte-parole a déclaré qu’Anthropic continuait d’améliorer ses mesures de sécurité à chaque lancement de modèle, et que les cas impliquant du contenu sexuel destiné aux adultes ne sont pas révélateurs de vulnérabilités plus générales permettant de contourner les restrictions, en particulier dans les domaines à haut risque qui disposent de leurs propres mesures de sécurité.

Crédits image :TechCrunch

Le chercheur qui a partagé sa méthode de « jailbreak » avec TechCrunch avait alerté Anthropic sur le décalage entre les mesures de sécurité annoncées par l’entreprise et le comportement réel des modèles, via le programme Bug Bounty de l’entreprise et par e-mails adressés à l’équipe chargée de la sécurité des utilisateurs, selon des e-mails consultés par TechCrunch. Le chercheur n’a reçu en réponse que des e-mails automatisés. 

L’une des préoccupations du chercheur est que les enfants et les adolescents puissent utiliser ces modèles d’Anthropic pour adopter des comportements inappropriés. Même si quelques propos obscènes ne constituent pas le pire contenu auquel les mineurs peuvent avoir accès sur Internet aujourd’hui — et ne sont qu’une goutte d’eau dans l’océan comparés aux images pornographiques explicites telles que celles que Grok, de xAI, est capable de produire —, cela représente tout de même un risque de non-conformité pour les entreprises d’IA actives dans ce domaine. 

Un nombre croissant de gouvernements imposent des restrictions sur les interactions à caractère sexuel entre les chatbots IA et les mineurs. Le Colorado a récemment promulgué une loi obligeant les opérateurs d’IA conversationnelle à estimer l’âge des utilisateurs et, s’ils savent qu’un utilisateur est mineur, à mettre en place des mesures pour empêcher le chatbot de produire du contenu sexuel explicite. Un contournement facile de ces mesures de sécurité pourrait soulever des questions quant à savoir si les mesures de protection d’Anthropic répondent à la norme des « mesures techniquement réalisables » prévue dans le projet de loi. 

Torney a souligné que, bien que les conditions d’utilisation de Claude exigent que les utilisateurs aient plus de 18 ans, « nous savons que des enfants et des adolescents utilisent Claude… [car] ce sont eux-mêmes qui le signalent ». Selon l’enquête Pew de 2025 sur l’utilisation des chatbots IA, 3 % des adolescents âgés de 13 à 17 ans ont déclaré utiliser Claude.

Bien qu’ils ne soient plus les modèles les plus récents d’Anthropic, Opus 4.6 et Haiku 4.5 continuent d’être largement utilisés. Le trafic quotidien d’Opus 4.6 sur OpenRouter a atteint environ 1,17 million de requêtes API et 46 milliards de tokens en une seule journée du mois d’août. Claude Haiku 4.5, lancé en octobre de l’année dernière, a enregistré 5 millions de requêtes API et 39 milliards de tokens lors de sa journée de pointe en août.