Исследование: модели OpenAI запомнили контент, защищенные авторским правом

Недавнее исследование предполагает, что OpenAI, возможно, действительно использовал материалы, защищенные авторским правом, для обучения некоторых моделей ИИ, добавив топливо в текущие юридические сражения, с которыми сталкивается компания. Авторы, программисты и другие создатели контента обвинили Openai в использовании своих работ - таких как книги и код - без разрешения на разработку своих моделей ИИ. В то время как OpenAI защищался, претендуя на справедливое использование, истцы утверждают, что Закон США об авторском праве не является исключением для данных обучения.

Исследование, сотрудничество между исследователями из Университета Вашингтона, Университета Копенгагена и Стэнфорда, представляет новый метод обнаружения «запоминающихся» данных обучения в моделях, доступных через API, например, от OpenAI. Модели ИИ по существу учатся из огромных объемов данных для распознавания шаблонов, позволяя им создавать эссе, изображения и многое другое. Хотя большинство результатов не являются прямыми копиями учебных данных, некоторые неизбежно связаны с процессом обучения. Например, было известно, что модели изображений воспроизводят экраны фильма, в то время как языковые модели были пойманы по существу запланированные новостные статьи.

Метод, описанный в исследовании, фокусируется на «высоких схемах» словах-слова, которые необычны в данном контексте. Например, в предложении «Джек и я совершенно сидели с трудом радара,« радар »будет словом с высоким содержанием, потому что оно менее ожидается, чем такие слова, как« двигатель »или« радио », предшествовать« колибри ».

Исследователи проверили несколько моделей OpenAI, в том числе GPT-4 и GPT-3.5, путем удаления высоких слов из выдержек из художественных книг и статьи «Нью-Йорк Таймс» и прося моделей предсказать эти пропущенные слова. Если модели точно угадали слова, это предполагало, что они запомнили текст во время обучения.

Абхилаша Равичандер, докторант в Вашингтонском университете и соавтор исследования, подчеркнул TechCrunch, что эти результаты подчеркивают «спорные данные», которые могли бы быть использованы для обучения этих моделей. «Чтобы иметь большие языковые модели, которые заслуживают доверия, мы должны иметь модели, которые мы можем исследовать, проверять и исследовать научно», - заявил Равичандер. «Наша работа направлена ​​на то, чтобы предоставить инструмент для исследования больших языковых моделей, но существует реальная потребность в большей прозрачности данных во всей экосистеме».

OpenAI настаивал на более расслабленных правилах использования защищенных авторским правом данных для разработки моделей искусственного интеллекта. Хотя компания имеет некоторые соглашения о лицензировании контента и предлагает варианты отказа для владельцев авторских прав, она лоббировала различные правительства, чтобы установить правила «справедливого использования» специально для обучения искусственному интеллекту.