Anthropic introduit une fonction permettant à ses modèles Claude de mettre fin aux chats abusifs

Anthropic a introduit une nouvelle fonctionnalité permettant à certains modèles avancés de mettre fin aux conversations dans ce que l'entreprise appelle "des cas rares et extrêmes d'interactions persistantes avec des utilisateurs nuisibles ou abusifs". Anthropic précise que cette mesure n'est pas mise en œuvre pour protéger les utilisateurs humains, mais pour protéger le modèle d'IA lui-même.

Pour clarifier, l'entreprise n'affirme pas que ses modèles d'IA Claude possèdent une sensibilité ou qu'ils peuvent être affectés par les conversations des utilisateurs. Comme l'explique Anthropic, l'entreprise reste "très incertaine quant au statut moral potentiel de Claude et d'autres grands modèles de langage, que ce soit actuellement ou à l'avenir".

Néanmoins, l'annonce fait référence à un programme récemment mis en place pour examiner le "bien-être du modèle", indiquant qu'Anthropic adopte une approche de précaution en "travaillant à l'identification et à la mise en œuvre d'interventions peu coûteuses pour atténuer les risques pour le bien-être du modèle, si ce bien-être devenait pertinent".

Cette nouvelle capacité est actuellement limitée aux modèles Claude Opus 4 et 4.1, conçus spécifiquement pour les "cas extrêmes" tels que "les demandes de contenus sexuels impliquant des mineurs ou les tentatives d'obtenir des informations permettant des violences à grande échelle ou des activités terroristes".

Alors que de telles demandes pourraient poser des problèmes juridiques ou de relations publiques à Anthropic (comme l'ont montré les récents rapports sur le ChatGPT, qui pourrait renforcer les idées délirantes des utilisateurs), l'entreprise indique que lors des tests de pré-déploiement, Claude Opus 4 a montré une "forte préférence contre" le respect de ces demandes et a affiché des "schémas suggérant une détresse" lorsqu'il a été contraint de répondre.

En ce qui concerne ces nouvelles capacités de fin de conversation, Anthropic précise que "Claude a pour instruction de n'utiliser cette fonction qu'en dernier recours, après que de multiples tentatives de redirection ont échoué et qu'un dialogue productif semble impossible, ou lorsque les utilisateurs demandent explicitement de mettre fin à une conversation".

Anthropic précise en outre que Claude a été "chargé de ne pas utiliser cette fonction dans les situations où les utilisateurs pourraient être confrontés à un risque imminent d'automutilation ou d'atteinte à autrui".

Les grands noms de la technologie et du capital-risque rejoignent l'agenda de Disrupt 2025

Netflix, ElevenLabs, Wayve, Sequoia Capital, Elad Gil - ce ne sont là que quelques-uns des leaders de l'industrie qui se joindront à l'agenda de Disrupt 2025. Ils partageront des informations cruciales pour accélérer la croissance des startups et renforcer votre avantage concurrentiel. Ne manquez pas l'édition du 20e anniversaire de TechCrunch Disrupt - réservez votre billet dès maintenant et économisez plus de 600 $ avant que les prix n'augmentent.

Les grands noms de la technologie et du capital-risque se joignent à l'agenda de Disrupt 2025

Netflix, ElevenLabs, Wayve, Sequoia Capital - parmi les innovateurs de premier plan qui rejoignent le programme de Disrupt 2025. Ils sont là pour fournir des informations précieuses qui favorisent l'expansion des startups et améliorent votre positionnement concurrentiel. Rejoignez-nous pour la célébration du 20e anniversaire de TechCrunch Disrupt - achetez votre billet dès aujourd'hui et économisez jusqu'à 675 $ avant que les tarifs ne changent.

Lorsque Claude met fin à une conversation, Anthropic note que les utilisateurs peuvent toujours lancer de nouvelles conversations à partir du même compte et créer d'autres branches de conversation en modifiant leurs réponses précédentes.

"Nous abordons cette fonctionnalité comme une expérience en cours et nous continuerons à affiner notre méthodologie", déclare l'entreprise.