Estudio: los modelos de OpenAI memorizaron contenido con derechos de autor

Un estudio reciente sugiere que OpenAi puede haber usado material con derechos de autor para capacitar a algunos de sus modelos de IA, agregando combustible a las batallas legales en curso que enfrenta la compañía. Los autores, programadores y otros creadores de contenido han acusado a OpenAi de usar sus obras, como libros y código, sin permiso para desarrollar sus modelos AI. Si bien OpenAi se ha defendido al reclamar un uso justo, los demandantes argumentan que la ley de derechos de autor de EE. UU. No proporciona una excepción para los datos de capacitación.

El estudio, una colaboración entre investigadores de la Universidad de Washington, la Universidad de Copenhague y Stanford, introduce una nueva técnica para detectar datos de capacitación "memorizados" en modelos a los que se accede a través de una API, como los de OpenAI. Los modelos de IA esencialmente aprenden de grandes cantidades de datos para reconocer patrones, permitiéndoles crear ensayos, imágenes y más. Aunque la mayoría de los resultados no son copias directas de los datos de capacitación, algunos inevitablemente se deben al proceso de aprendizaje. Por ejemplo, se sabe que los modelos de imagen reproducen capturas de pantalla de películas, mientras que los modelos de idiomas han sido atrapados esencialmente que los artículos de noticias plagiaron.

El método descrito en el estudio se centra en palabras de "alta expresión", palabras que son inusuales en un contexto dado. Por ejemplo, en la oración "Jack y yo nos quedamos perfectamente quietas con el zumbido del radar," "radar" sería una palabra de alta expresal porque es menos esperado que palabras como "motor" o "radio" para preceder "tarareando".

Los investigadores probaron varios modelos OpenAI, incluidos GPT-4 y GPT-3.5, al eliminar las palabras de alta expresal de extractos de libros de ficción y artículos del New York Times y pedirles a los modelos que predicen estas palabras faltantes. Si los modelos adivinaron con precisión las palabras, sugirió que habían memorizado el texto durante el entrenamiento.

Abhilasha Ravichander, estudiante de doctorado en la Universidad de Washington y coautora del estudio, enfatizó a TechCrunch que estos hallazgos destacan los "datos contenciosos" que podrían haberse utilizado para capacitar a estos modelos. "Para tener modelos de idiomas grandes que sean confiables, necesitamos tener modelos que podamos sondear, auditar y examinar científicamente", dijo Ravichander. "Nuestro trabajo tiene como objetivo proporcionar una herramienta para sondear modelos de idiomas grandes, pero existe una necesidad real de una mayor transparencia de datos en todo el ecosistema".

Operai ha presionado para reglas más relajadas sobre el uso de datos con derechos de autor para desarrollar modelos de IA. Aunque la compañía tiene algunos acuerdos de licencia de contenido y ofrece opciones de exclusión para los titulares de derechos de autor, ha presionado a varios gobiernos para establecer reglas de "uso justo" específicamente para la capacitación de IA.