Судебный процесс в Нью-Джерси подчеркивает сложность борьбы с порнографией с использованием технологии deepfake

Более двух лет приложение под названием ClothOff подвергало молодых женщин в Интернете кампании террора, и остановить его оказалось чрезвычайно сложной задачей. Приложение было удалено из двух крупнейших магазинов приложений и заблокировано на большинстве социальных платформ, но оно по-прежнему доступно через Интернет и бота Telegram. В октябре клиника Йельской юридической школы инициировала судебный процесс с целью окончательно закрыть приложение, заставив его владельцев удалить все изображения и полностью прекратить деятельность. Однако простое выявление и определение местонахождения ответчиков оказалось серьезной проблемой.

«Компания зарегистрирована на Британских Виргинских островах, — объясняет профессор Джон Лэнгфорд, сопредседатель адвокатской группы, ведущей судебный процесс, — но мы полагаем, что ею управляют брат и сестра, проживающие в Беларуси. Возможно, она даже является частью более крупной глобальной сети».

Этот случай является серьезным уроком после недавнего потока синтетической порнографии, созданной xAI Илона Маска, в которой фигурировали многочисленные несовершеннолетние жертвы. Материалы с сексуальным насилием над детьми (CSAM) являются наиболее токсичным с юридической точки зрения контентом в Интернете — их производство, передача или хранение являются незаконными, и они активно сканируются всеми крупными облачными сервисами. Однако, несмотря на строгие правовые запреты, такие инструменты, как ClothOff, по-прежнему трудно пресекать, как показывает случай Лэнгфорда. Хотя отдельные пользователи могут быть привлечены к ответственности, контроль за такими платформами, как ClothOff и Grok, гораздо сложнее, что оставляет жертвам ограниченные возможности для обращения в суд.

В открытой жалобе клиники описывается крайне тревожная ситуация. Истица — анонимная ученица средней школы из Нью-Джерси, чьи одноклассники использовали ClothOff для манипулирования ее фотографиями в Instagram. Когда были сделаны оригинальные фотографии, ей было 14 лет, а это означает, что измененные с помощью ИИ версии с юридической точки зрения являются изображениями сексуального насилия над детьми. Однако, несмотря на явную незаконность измененных изображений, местные власти отказались возбуждать уголовное дело, сославшись на сложности с получением доказательств с устройств подозреваемых.

«Ни школа, ни правоохранительные органы так и не установили, насколько широко распространялись изображения Джейн Доу и других девочек, — говорится в жалобе.

Рассмотрение дела в суде продвигается медленно. После подачи жалобы в октябре Лэнгфорд и его коллеги в течение нескольких месяцев пытались вручить ответчикам судебные уведомления, что было сложной задачей, учитывая международный характер операции. После вручения уведомлений клиника может приступить к планированию судебного разбирательства и добиваться вынесения решения. До тех пор правовая система не может предложить жертвам ClothOff практически никакой защиты.

Дело Grok может показаться более простым для решения. Компания xAI Илона Маска не скрывается, и успешное судебное разбирательство может принести значительные финансовые выгоды. Однако Grok — это универсальный инструмент, что значительно усложняет установление юридической ответственности за его неправомерное использование.

Присоединяйтесь к списку ожидания Disrupt 2026

Добавьте себя в список ожидания Disrupt 2026, чтобы получить приоритетный доступ к билетам Early Bird, когда они поступят в продажу. В прошлых мероприятиях Disrupt принимали участие лидеры отрасли из Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Элад Гил и Винод Хосла — более 250 лидеров, которые провели более 200 сессий, направленных на ускорение вашего роста и усиление вашего конкурентного преимущества. Кроме того, вы сможете пообщаться с сотнями стартапов, которые являются пионерами инноваций во всех секторах.

Присоединяйтесь к списку ожидания Disrupt 2026

Добавьте себя в список ожидания Disrupt 2026, чтобы получить приоритетный доступ к билетам Early Bird, когда они поступят в продажу. В прошлых мероприятиях Disrupt участвовали лидеры отрасли из Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Элад Гил и Винод Хосла — часть из более чем 250 лидеров, проводящих более 200 сессий, призванных ускорить ваш рост и усилить ваши конкурентные преимущества. Кроме того, вы сможете пообщаться с сотнями стартапов, являющихся пионерами инноваций во всех секторах.

«ClothOff явно разработан и позиционируется как генератор глубоко поддельных порнографических изображений и видео», — пояснил мне Лэнгфорд. «Когда вы ведете судебный процесс против универсальной системы, которую пользователи могут использовать для любых целей, правовая ситуация становится гораздо более сложной».

Несколько законов США, в частности закон Take It Down Act, уже запрещают дипфейковую порнографию. Однако, хотя конкретные пользователи явно нарушают эти законы, привлечь к ответственности всю платформу значительно сложнее. Существующие законы обычно требуют доказательства умысла причинить вред, то есть доказательства того, что xAI знала, что ее инструмент будет использоваться для создания порнографии без согласия участников. В отсутствие таких доказательств, основные права xAI, гарантированные Первой поправкой, могут обеспечить существенную правовую защиту.

«С точки зрения Первой поправки, несомненно, что материалы, связанные с сексуальным насилием над детьми, не являются защищенной речью», — отмечает Лэнгфорд. «Таким образом, если вы разрабатываете систему специально для производства такого контента, вы явно действуете вне рамок защиты Первой поправки. Однако в случае универсальной системы, которая отвечает на разнообразные запросы пользователей, правовые границы гораздо менее четкие».

Наиболее прямым юридическим путем было бы доказать, что xAI сознательно игнорировала злоупотребление. Это правдоподобный аргумент, учитывая недавние сообщения о том, что Маск поручил сотрудникам ослабить меры безопасности Grok. Тем не менее, даже при таком подходе, ведение такого дела будет сопряжено с гораздо большим юридическим риском.

«Разумные наблюдатели могут утверждать, что этот риск был предсказуем еще несколько лет назад», — говорит Лэнгфорд. «Почему не были введены более строгие меры контроля, чтобы предотвратить это? Это указывает на определенную степень неосторожности или осведомленности, но все равно делает судебное разбирательство более сложным».

Эти сложности, связанные с Первой поправкой, объясняют, почему наиболее значительное противодействие xAI со стороны регулирующих органов возникло в юрисдикциях, где нет надежной защиты свободы слова. Индонезия и Малайзия уже приняли меры по блокированию доступа к чат-боту Grok, а регулирующие органы Великобритании начали расследование, которое может привести к аналогичному запрету. Предварительные меры также были приняты Европейской комиссией, Францией, Ирландией, Индией и Бразилией. Напротив, ни один регулирующий орган США не выпустил официального ответа.

Остается неясным, как завершатся эти расследования, но всплеск числа оскорбительных изображений, созданных с помощью ИИ, несомненно, поднял важные вопросы для регулирующих органов — и результаты расследования могут быть обвинительными.

«Если вы публикуете, распространяете или распространяете материалы, связанные с сексуальным насилием над детьми, вы нарушаете уголовное законодательство и можете быть привлечены к ответственности», — заявляет Лэнгфорд. «Более сложный юридический вопрос: что знала платформа? Какие действия она предприняла или не предприняла? И что она делает сейчас в ответ?»