Estudo: Modelos OpenAI memorizou conteúdo protegido por direitos autorais

Um estudo recente sugere que o OpenAI pode realmente ter usado material protegido por direitos autorais para treinar alguns de seus modelos de IA, adicionando combustível às batalhas legais em andamento que a empresa enfrenta. Autores, programadores e outros criadores de conteúdo acusaram o OpenAI de usar seus trabalhos - como livros e código - sem permissão para desenvolver seus modelos de IA. Enquanto o OpenAI se defendeu ao reivindicar uso justo, os demandantes argumentam que a lei de direitos autorais dos EUA não fornece uma exceção para o treinamento de dados.

O estudo, uma colaboração entre pesquisadores da Universidade de Washington, da Universidade de Copenhague e Stanford, apresenta uma nova técnica para detectar dados de treinamento "memorizados" em modelos acessados ​​por meio de uma API, como os do OpenAI. Os modelos de IA aprendem essencialmente com vastas quantidades de dados para reconhecer padrões, permitindo que eles criem ensaios, imagens e muito mais. Embora a maioria dos resultados não seja cópia direta dos dados de treinamento, alguns inevitavelmente se devem ao processo de aprendizado. Por exemplo, são conhecidos modelos de imagens por reproduzir capturas de tela de filmes, enquanto os modelos de idiomas foram pegos essencialmente plagiando artigos de notícias.

O método descrito no estudo concentra-se em palavras "de alta sobrevivência"-palavras incomuns em um determinado contexto. Por exemplo, na frase "Jack e eu nos sentamos perfeitamente imóveis com o zumbido do radar", "Radar" seria uma palavra de alta sobrevivência, porque é menos esperada do que palavras como "mecanismo" ou "rádio" para preceder "zumbido".

Os pesquisadores testaram vários modelos Openai, incluindo GPT-4 e GPT-3.5, removendo palavras de alta sobrevivência de trechos de livros de ficção e artigos do New York Times e pedindo aos modelos que prevejam essas palavras que faltam. Se os modelos adivinhassem com precisão as palavras, sugeriu que elas haviam memorizado o texto durante o treinamento.

Abhilasha Ravichander, estudante de doutorado da Universidade de Washington e co-autora do estudo, enfatizou a TechCrunch que essas descobertas destacam os "dados controversos" que poderiam ter sido usados ​​para treinar esses modelos. "Para ter grandes modelos de idiomas confiáveis, precisamos ter modelos que possamos investigar e auditar e examinar cientificamente", afirmou Ravichander. "Nosso trabalho visa fornecer uma ferramenta para investigar grandes modelos de linguagem, mas há uma necessidade real de maior transparência de dados em todo o ecossistema".

O OpenAI pressionou para regras mais relaxadas sobre o uso de dados protegidos por direitos autorais para desenvolver modelos de IA. Embora a empresa possua alguns acordos de licenciamento de conteúdo e ofereça opções de exclusão para detentores de direitos autorais, ela fez vários governos para estabelecer regras de "uso justo" especificamente para o treinamento de IA.