Le procureur général de Californie enquête sur Musk's X pour des contenus présumés destinés à des mineurs dans le chatbot Grok.

Elon Musk a déclaré mercredi qu'il n'avait « aucune connaissance de la création par Grok d'images de mineurs nus », quelques heures avant que le procureur général de Californie n'annonce l'ouverture d'une enquête sur le chatbot de xAI concernant la diffusion de contenu sexuellement explicite non consensuel.

Le démenti de Musk intervient alors que la pression internationale s'intensifie de la part des gouvernements britannique, européen, malaisien et indonésien. Cela fait suite à des informations selon lesquelles des utilisateurs de X auraient incité Grok à créer des images à caractère sexuel de femmes réelles et, dans certains cas, d'enfants, sans leur consentement. Selon les estimations de la société de détection d'IA Copyleaks, environ une image de ce type était publiée sur X chaque minute. Un autre échantillon de données recueilli entre le 5 et le 6 janvier a révélé un taux de 6 700 images par heure sur une période de 24 heures. (X et xAI font partie de la même structure d'entreprise).

« Ce matériel... a été utilisé pour harceler des personnes sur Internet », a déclaré le procureur général de Californie, Rob Bonta. « J'exhorte xAI à prendre des mesures immédiates pour que cela ne se reproduise plus. »

Le bureau du procureur général enquêtera sur les éventuelles violations de la loi par xAI.

Plusieurs lois protègent les individus contre les images sexuelles non consenties et le matériel pédopornographique (CSAM). La loi fédérale Take It Down Act, signée l'année dernière, criminalise la distribution délibérée d'images intimes non consenties, y compris les deepfakes, et oblige les plateformes telles que X à supprimer ce type de contenu dans les 48 heures. La Californie a également promulgué ses propres lois en 2024, signées par le gouverneur Gavin Newsom, afin de lutter contre les deepfakes à caractère sexuellement explicite.

Vers la fin de l'année, Grok a commencé à répondre aux demandes des utilisateurs sur X pour produire des photos sexualisées de femmes et d'enfants. Cette tendance semble avoir été lancée par certains créateurs de contenu pour adultes qui utilisaient Grok à des fins marketing en générant des images sexualisées d'eux-mêmes, ce qui a ensuite suscité des demandes similaires de la part d'autres utilisateurs. Dans plusieurs cas médiatisés impliquant des personnalités telles que l'actrice Millie Bobby Brown, Grok a répondu aux demandes en modifiant des photos réelles de femmes, en changeant leurs vêtements, leur posture ou leurs caractéristiques physiques de manière explicitement sexuelle.

Selon certaines informations, xAI aurait commencé à mettre en place des mesures de protection. Grok exige désormais un abonnement premium pour certaines demandes de génération d'images, et même dans ce cas, il se peut qu'il ne produise pas d'image. April Kozen, vice-présidente du marketing chez Copyleaks, a déclaré à TechCrunch que Grok pourrait répondre à une demande de manière plus générique ou plus modérée. Elle a ajouté que Grok semblait avoir des politiques plus permissives envers les créateurs de contenu pour adultes.

Inscrivez-vous sur la liste d'attente Disrupt 2026

Inscrivez-vous sur la liste d'attente Disrupt 2026 pour être parmi les premiers à bénéficier des billets en prévente. Les éditions précédentes de Disrupt ont accueilli Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil et Vinod Khosla, parmi plus de 250 leaders du secteur qui ont animé plus de 200 sessions conçues pour stimuler votre croissance et affiner votre avantage concurrentiel. De plus, vous pourrez rencontrer des centaines de startups innovantes dans tous les secteurs.

Inscrivez-vous sur la liste d'attente Disrupt 2026

Inscrivez-vous sur la liste d'attente Disrupt 2026 pour être parmi les premiers à bénéficier des billets en prévente. Les éditions précédentes de Disrupt ont accueilli Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil et Vinod Khosla, parmi plus de 250 leaders du secteur animant plus de 200 sessions conçues pour stimuler votre croissance et affiner votre avantage concurrentiel. De plus, rencontrez des centaines de start-ups innovantes dans tous les secteurs.

« Dans l'ensemble, ces comportements suggèrent que X expérimente plusieurs mécanismes pour réduire ou contrôler la génération d'images problématiques, même si des incohérences subsistent », a déclaré M. Kozen.

Ni xAI ni Musk n'ont abordé directement le problème fondamental. Quelques jours après le début des incidents, Musk a semblé banaliser la question en demandant à Grok de générer une image de lui-même en bikini. Le 3 janvier, le compte de sécurité de X a déclaré que la société prenait « des mesures contre les contenus illégaux sur X, y compris [CSAM] », sans mentionner spécifiquement l'absence apparente de mesures de protection de Grok ou la création d'images manipulées et sexualisées de femmes.

Cette position correspond au récent message de Musk, qui met l'accent sur l'illégalité et le comportement des utilisateurs.

Musk a écrit qu'il n'avait « connaissance d'aucune image de mineurs nus générée par Grok. Littéralement aucune ». Cette déclaration ne nie pas l'existence d'images en bikini ou, plus largement, de montages à caractère sexuel.

Michael Goodyear, professeur associé à la New York Law School et ancien avocat plaidant, a déclaré à TechCrunch que Musk s'était probablement concentré exclusivement sur le CSAM parce que les sanctions pour la création ou la distribution d'images synthétiques sexualisées d'enfants sont plus sévères.

« Par exemple, aux États-Unis, le distributeur ou le distributeur présumé de CSAM peut encourir jusqu'à trois ans d'emprisonnement en vertu de la loi Take It Down Act, contre deux ans pour les images sexuelles non consenties d'adultes », a déclaré Goodyear.

Il a ajouté que « le point le plus important » est la tentative de Musk de mettre l'accent sur les contenus problématiques des utilisateurs.

« De toute évidence, Grok ne génère pas d'images de manière spontanée. Il ne le fait qu'à la demande des utilisateurs », a écrit Musk dans son message. « Lorsqu'on lui demande de générer des images, il refuse de produire quoi que ce soit d'illégal, car le principe de fonctionnement de Grok est de respecter les lois de tout pays ou État donné. Il peut arriver que le piratage hostile des invites de Grok provoque des résultats inattendus. Si cela se produit, nous corrigeons immédiatement le bug. »

Dans l'ensemble, le message présente ces incidents comme rares, les attribue aux demandes des utilisateurs ou à des piratages malveillants, et les qualifie de bugs techniques à corriger. Il ne reconnaît aucune lacune fondamentale dans la conception de la sécurité de Grok.

« Les régulateurs pourraient envisager, en tenant compte de la protection de la liberté d'expression, d'exiger des mesures proactives de la part des développeurs d'IA afin d'empêcher ce type de contenu », a déclaré M. Goodyear.

TechCrunch a contacté xAI pour savoir combien de cas d'images sexuellement manipulées de femmes et d'enfants sans leur consentement ont été identifiés, quelles mesures de protection spécifiques ont été modifiées et si l'entreprise a informé les régulateurs. TechCrunch mettra à jour cet article si une réponse est reçue.

Le procureur général de Californie n'est pas le seul organisme de réglementation à demander des comptes à xAI. L'Indonésie et la Malaisie ont temporairement bloqué l'accès à Grok ; l'Inde a exigé que X mette en œuvre des changements techniques et procéduraux immédiats à Grok ; la Commission européenne a ordonné à xAI de conserver tous les documents liés à son chatbot Grok, une mesure précédant une enquête officielle ; et l'Ofcom britannique a ouvert une enquête officielle en vertu de la loi britannique sur la sécurité en ligne.

xAI a déjà fait l'objet de critiques concernant les images à caractère sexuel de Grok. Comme l'a souligné le procureur général Bonta, Grok comprend un « mode épicé » permettant de générer du contenu explicite. Une mise à jour effectuée en octobre a facilité le contournement de ses directives de sécurité limitées, ce qui a conduit de nombreux utilisateurs à créer du contenu pornographique hardcore et des images sexuelles gravement violentes avec Grok.

La plupart des images pornographiques produites par Grok représentaient des personnes générées par l'IA, une pratique que beaucoup peuvent encore juger discutable sur le plan éthique, même si elle est potentiellement moins préjudiciable à des individus spécifiques.

« Lorsque les systèmes d'IA permettent la manipulation d'images de personnes réelles sans leur consentement explicite, l'impact peut être immédiat et profondément personnel », a déclaré Alon Yamin, cofondateur et PDG de Copyleaks, dans une déclaration à TechCrunch. « De Sora à Grok, nous assistons à une augmentation rapide des capacités de l'IA en matière de manipulation des médias. À cette fin, la détection et la gouvernance sont plus que jamais nécessaires pour aider à prévenir les abus. »