Étude: les modèles OpenAI ont mémorisé le contenu protégé par le droit d'auteur

Une étude récente suggère qu'OpenAI a peut-être utilisé du matériel protégé par le droit d'auteur pour former certains de ses modèles d'IA, ajoutant du carburant aux batailles juridiques en cours auxquelles l'entreprise est confrontée. Les auteurs, les programmeurs et autres créateurs de contenu ont accusé Openai d'utiliser leurs œuvres - comme des livres et du code - sans autorisation de développer ses modèles d'IA. Alors qu'Openai s'est défendu en réclamant une utilisation équitable, les plaignants soutiennent que la loi sur le droit d'auteur américain ne fournit pas d'exception pour la formation des données.

L'étude, une collaboration entre des chercheurs de l'Université de Washington, de l'Université de Copenhague et de Stanford, présente une nouvelle technique pour détecter les données de formation "mémorisées" dans des modèles accessibles via une API, comme celles d'Openai. Les modèles AI apprennent essentiellement de grandes quantités de données pour reconnaître les modèles, leur permettant de créer des essais, des images, etc. Bien que la plupart des résultats ne soient pas des copies directes des données de formation, certaines sont inévitablement dues au processus d'apprentissage. Par exemple, les modèles d'images sont connus pour reproduire des captures d'écran de film, tandis que les modèles de langage ont été capturés essentiellement plagier des articles de presse.

La méthode décrite dans l'étude se concentre sur les mots «à haute tension» - des mots inhabituels dans un contexte donné. Par exemple, dans la phrase "Jack et moi nous sommes assis parfaitement toujours avec le bourdonnement radar," "radar" serait un mot à haut surprise parce qu'il est moins attendu que des mots comme "moteur" ou "radio" pour précéder "bourdonnement".

Les chercheurs ont testé plusieurs modèles OpenAI, dont GPT-4 et GPT-3.5, en supprimant les mots à haute teneur en extraits de livres de fiction et des articles du New York Times et en demandant aux modèles de prédire ces mots manquants. Si les modèles devinaient avec précision les mots, cela suggère qu'ils avaient mémorisé le texte pendant la formation.

Abhilasha Ravichander, doctorante à l'Université de Washington et co-auteur de l'étude, a souligné à TechCrunch que ces résultats mettent en évidence les "données controversées" qui auraient pu être utilisées pour former ces modèles. "Afin d'avoir de grands modèles de langage qui sont dignes de confiance, nous devons avoir des modèles que nous pouvons sonder et auditer et examiner scientifiquement", a déclaré Ravichander. "Notre travail vise à fournir un outil pour sonder de grands modèles de langue, mais il existe un réel besoin d'une plus grande transparence de données dans tout l'écosystème."

OpenAI a fait pression pour des règles plus assouplies sur l'utilisation des données protégées par le droit d'auteur pour développer des modèles d'IA. Bien que l'entreprise ait des accords de licence de contenu et propose des options de désactivation pour les détenteurs de droits d'auteur, il a fait pression sur divers gouvernements pour établir des règles "Utilisation équitable" spécifiquement pour la formation de l'IA.