Un procès dans le New Jersey met en lumière les défis liés à la lutte contre la pornographie deepfake

Depuis plus de deux ans, une application appelée ClothOff soumet les jeunes femmes en ligne à une campagne de terreur, et il s'est avéré extrêmement difficile d'y mettre fin. L'application a été retirée des deux plus grandes boutiques d'applications et interdite sur la plupart des plateformes sociales, mais elle reste accessible via le web et un bot Telegram. En octobre, une clinique de la faculté de droit de Yale a lancé une action en justice visant à démanteler définitivement l'application, obligeant ses propriétaires à supprimer toutes les images et à cesser complètement leurs activités. Cependant, le simple fait d'identifier et de localiser les défendeurs s'est avéré être un défi de taille.

« L'entité est enregistrée aux Îles Vierges britanniques », explique le professeur John Langford, co-conseiller principal dans le cadre de cette action en justice, « mais nous pensons qu'elle est gérée par un frère et une sœur basés en Biélorussie. Elle pourrait même faire partie d'un réseau mondial plus vaste. »

Cette affaire offre une leçon qui donne à réfléchir après la récente avalanche de pornographie synthétique non consensuelle générée par xAI d'Elon Musk, qui comprenait de nombreuses victimes mineures. Le matériel pédopornographique (CSAM) est le contenu le plus toxique sur le plan juridique sur Internet : sa production, sa transmission ou son stockage sont illégaux, et il fait l'objet d'une surveillance active sur tous les principaux services cloud. Pourtant, malgré des interdictions légales strictes, les outils tels que ClothOff restent difficiles à combattre, comme l'illustre le cas de Langford. Si les utilisateurs individuels peuvent être poursuivis, la surveillance de plateformes telles que ClothOff et Grok est beaucoup plus complexe, ce qui laisse aux victimes peu de possibilités de demander justice devant les tribunaux.

La plainte rendue publique par la clinique décrit un scénario profondément troublant. La plaignante est une lycéenne anonyme du New Jersey dont les camarades de classe ont utilisé ClothOff pour manipuler ses photos Instagram. Elle avait 14 ans lorsque les photos originales ont été prises, ce qui signifie que les versions modifiées par l'IA constituent légalement des images pédopornographiques. Cependant, malgré l'illégalité évidente des images modifiées, les autorités locales ont refusé de poursuivre, invoquant des difficultés à obtenir des preuves à partir des appareils des suspects.

« Ni l'école ni les forces de l'ordre n'ont jamais déterminé dans quelle mesure les images pédopornographiques de Jane Doe et d'autres filles ont été diffusées », indique la plainte.

La procédure judiciaire avance lentement. Déposée en octobre, la plainte a été suivie de plusieurs mois pendant lesquels Langford et ses collègues ont tenté de signifier une notification légale aux défendeurs, une tâche difficile compte tenu de la portée internationale de l'opération. Une fois la notification signifiée, la clinique pourra fixer une date d'audience et demander un jugement. Jusqu'à présent, le système judiciaire n'a offert que peu de réconfort aux victimes de ClothOff.

L'affaire Grok pourrait sembler plus simple à traiter. La société xAI d'Elon Musk ne se cache pas, et un procès gagné pourrait donner lieu à d'importantes compensations financières. Cependant, Grok est un outil à usage général, ce qui rend beaucoup plus compliqué l'établissement de la responsabilité juridique en cas d'utilisation abusive.

Inscrivez-vous sur la liste d'attente Disrupt 2026

Inscrivez-vous sur la liste d'attente Disrupt 2026 pour bénéficier d'un accès prioritaire lorsque les billets en prévente seront mis en vente. Les éditions précédentes de Disrupt ont accueilli des leaders du secteur tels que Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil et Vinod Khosla, parmi plus de 250 leaders animant plus de 200 sessions conçues pour accélérer votre croissance et renforcer votre avantage concurrentiel. De plus, vous pourrez entrer en contact avec des centaines de start-ups pionnières en matière d'innovation dans tous les secteurs.

Inscrivez-vous sur la liste d'attente Disrupt 2026

Inscrivez-vous sur la liste d'attente Disrupt 2026 pour bénéficier d'un accès prioritaire lorsque les billets en prévente seront mis en vente. Les éditions précédentes de Disrupt ont accueilli des leaders du secteur tels que Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil et Vinod Khosla, qui font partie des plus de 250 leaders animant plus de 200 sessions conçues pour accélérer votre croissance et renforcer votre avantage concurrentiel. De plus, vous pourrez entrer en contact avec des centaines de start-ups pionnières en matière d'innovation dans tous les secteurs.

« ClothOff est explicitement conçu et commercialisé comme un générateur de pornographie deepfake pour les images et les vidéos », m'a expliqué Langford. « Lorsque vous intentez un procès contre un système polyvalent que les utilisateurs peuvent interroger à n'importe quelle fin, le paysage juridique devient beaucoup plus complexe. »

Plusieurs lois américaines, notamment le Take It Down Act, interdisent déjà la pornographie deepfake. Cependant, si certains utilisateurs enfreignent clairement ces lois, il est beaucoup plus difficile de tenir une plateforme entière pour responsable. Les lois existantes exigent généralement la preuve de l'intention de causer un préjudice, ce qui signifie qu'il faut démontrer que xAI savait que son outil serait utilisé pour créer de la pornographie non consensuelle. En l'absence d'une telle preuve, les droits fondamentaux de xAI garantis par le premier amendement pourraient lui offrir une protection juridique substantielle.

« Du point de vue du premier amendement, il est clair que les contenus pédopornographiques ne sont pas protégés par la liberté d'expression », note M. Langford. « Par conséquent, si vous concevez un système spécifiquement destiné à produire ce type de contenu, vous agissez clairement en dehors du champ d'application du premier amendement. Cependant, avec un système polyvalent qui répond à diverses requêtes des utilisateurs, les limites juridiques sont beaucoup moins claires. »

La voie juridique la plus simple serait de démontrer que xAI a délibérément ignoré l'utilisation abusive. Cet argument est plausible, compte tenu des informations récentes selon lesquelles Musk aurait demandé à ses employés d'assouplir les mesures de sécurité de Grok. Néanmoins, même avec cette approche, poursuivre une telle affaire comporterait un risque juridique beaucoup plus important.

« Des observateurs raisonnables pourraient faire valoir que ce risque était prévisible il y a des années », explique M. Langford. « Comment des contrôles plus stricts n'ont-ils pas été mis en place pour empêcher cela ? Cela suggère un certain degré d'imprudence ou de connaissance, mais cela rend tout de même le procès plus compliqué. »

Ces complexités liées au premier amendement expliquent pourquoi la plus importante réaction réglementaire contre xAI est venue de juridictions qui ne disposent pas de protections solides en matière de liberté d'expression. L'Indonésie et la Malaisie ont déjà pris des mesures pour bloquer l'accès au chatbot Grok, tandis que les régulateurs britanniques ont ouvert une enquête qui pourrait conduire à une interdiction similaire. Des mesures préliminaires ont également été prises par la Commission européenne, la France, l'Irlande, l'Inde et le Brésil. En revanche, aucun organisme de réglementation américain n'a publié de réponse officielle.

L'issue de ces enquêtes reste incertaine, mais la recrudescence des images abusives générées par l'IA a sans aucun doute soulevé des questions cruciales pour les régulateurs, et les conclusions pourraient être incriminantes.

« Si vous publiez, distribuez ou diffusez du matériel pédopornographique, vous enfreignez la loi pénale et pouvez être tenu responsable », déclare M. Langford. « La question juridique la plus difficile est la suivante : que savait la plateforme ? Quelles mesures a-t-elle prises ou omis de prendre ? Et que fait-elle actuellement pour y répondre ? »