Запрет США на модели компании Anthropic не был связан с «джейлбрейком» ИИ

Недавнее письмо правительства США компании Anthropic, которое фактически вынудило компанию отключить свои новейшие модели ИИ непосредственно перед выходными, должно послужить суровым предупреждением для любой американской технологической компании — независимо от того, занимается ли она разработкой ИИ или нет.
Краткое изложение событий: в пятницу днем Министерство торговли США направило компании Anthropic письмо, в котором сослалось на малоизвестное правило экспортного контроля, запрещающее лицам, не являющимся гражданами США — в том числе собственным сотрудникам Anthropic — доступ к моделям Fable 5 и Mythos 5, мотивируя это неуточненными соображениями национальной безопасности. В Anthropic заявили, что, по их мнению, письмо связано с обходом мер безопасности модели, но они не уверены в этом, поскольку в письме отсутствуют конкретные детали. Текст письма не был обнародован.
В ответ на это компания Anthropic отключила обе свои флагманские модели для всех клиентов, чтобы обеспечить соблюдение директивы. В результате правительство США успешно заставило технологическую компанию отключить свои модели посредством быстрых односторонних действий, которые, по-видимому, не требовали одобрения суда.
Вмешательство администрации Трампа в пятницу показывает, что отрасль искусственного интеллекта не застрахована от вмешательства со стороны правительства. Оно также посылает более широкий сигнал миру технологий: подчиняйтесь, или мы можем закрыть и вас, и ваши продукты.
Ссылаясь на источники, Axios описал напряженную ситуацию, сложившуюся в минувшие выходные между двумя основными сторонами, предположив, что причиной принятия экспортной директивы стали «личностные разногласия» между Anthropic и администрацией Трампа, а не технические недостатки продуктов ИИ.
Новые подробности, появившиеся в выходные, теперь еще больше ставят под сомнение и без того сомнительную аргументацию правительства.
Кэти Мусурис, ветеран в области кибербезопасности, исследователь и основательница Luta Security, написала в своём блоге, что компания Anthropic недавно предоставила ей частную копию статьи исследователей в области безопасности, в которой описывается предполагаемый способ обхода защитных механизмов в Fable 5. (Как сообщает The Wall Street Journal, авторы статьи — исследователи в области безопасности из компании Amazon.) Муссурис сообщила, что компания Anthropic обратилась к ней с просьбой высказать своё мнение по поводу этой статьи.
В своём блоге Муссурис описала, как исследователи вызвали обход защитных механизмов, но отметила, что сам обход «ни в коем случае не должен был вызвать срабатывание механизма экспортного контроля». Ключевое различие заключается в том, просят ли модель ИИ «проверить код на наличие проблем безопасности» или просят «исправить этот код». Конечный результат в основном одинаков, даже если вопросы сформулированы немного по-разному.
«Поведение, описанное в статье, невозможно исправить каким-либо значимым образом, и любая попытка только ослабила бы защитные возможности модели», — заявила Муссурис, которая раскритиковала директиву об экспортном контроле как поспешную, чрезмерно жесткую и ошибочную.
Муссурис, наряду с десятками других ведущих исследователей и экспертов в области безопасности, с тех пор призвала администрацию Трампа отменить указ об экспортном контроле, назвав «опасным» шаг, направленный на лишение защитников сетей в США передовых возможностей в сфере кибербезопасности.
Предыдущие администрации принимали радикальные решения, основанные на пробелах в знаниях. Например, формулировки, использованные правительством США в 2010-х годах для корректировки экспортного законодательства в отношении инструментов кибербезопасности, которые также могли бы использоваться для кибератак, были настолько широкими, что непреднамеренно почти поставили под запрет законные исследования в области безопасности и уязвимостей.
Однако директива администрации Трампа выглядит как ответная мера.
Джастин Хендрикс, редактор Tech Policy Press, заявил, что шаг администрации Трампа «вероятно, вызовет тревогу в столицах других стран относительно надежности американского ИИ для критически важных приложений». Суть заключается в том, что компаниям, занимающимся ИИ в США, нельзя доверять работу без вмешательства со стороны правительства США.
Администрация Трампа не подтвердила, почему она применила директиву об экспортном контроле. Неужели чиновники неверно истолковали отчет и отреагировали слишком резко? Неужели генеральный директор Amazon Энди Джасси сказал что-то высокопоставленным правительственным чиновникам, что вызвало такую реакцию — из осторожности или из злобы? Было ли что-то упущено при переводе, или это был способ оказать давление на компанию Anthropic, с которой у администрации и без того натянутые отношения? Возможно, Белый дом не осознавал далеко идущих последствий требования, изложенного в письме, и теперь чиновники спешат исправить нанесенный ими ущерб.
Цитируя Хендрикса: «В воздухе витает атмосфера подозрений, что высокопоставленные чиновники выбирают фаворитов, руководствуясь личными и политическими соображениями». Результатом стало то, что правительство создало опасный прецедент в отношении того, насколько сильно оно намерено контролировать выпуск программного обеспечения американского производства.
На этот раз правительство выступило против компании Anthropic; завтра это может коснуться кого угодно.
Связанная статья
Anthropic выпускает Opus 4.8 с новым инструментом для динамической организации рабочего процесса
В четверг компания Anthropic представила Opus 4.8 — новую версию своей флагманской общедоступной модели. Стоимость обновления осталась на прежнем уровне, и теперь оно доступно на всех платформах.Выпус
Frontier AI Labs отказывается раскрывать стратегии локализации неконтролируемых моделей
Последние исследования показывают, что лишь немногие ведущие лаборатории, занимающиеся ИИ, опубликовали или продемонстрировали планы реагирования на попытки выхода системы из-под контроля. План сдержи
Anthropic представляет Fable: более доступную и менее ограничительную модель ИИ
Вторник, Anthropic запустила Fable и Mythos 5.1, предложив парные версии своего новейшего ИИ-технологического решения. Помимо повышения производительности, обновленная версия Fable сокращает использование токенов и ужесточает фильтры безопасности, чт
Рекомендации по связанным специальным темам
Комментарии (0)

Недавнее письмо правительства США компании Anthropic, которое фактически вынудило компанию отключить свои новейшие модели ИИ непосредственно перед выходными, должно послужить суровым предупреждением для любой американской технологической компании — независимо от того, занимается ли она разработкой ИИ или нет.
Краткое изложение событий: в пятницу днем Министерство торговли США направило компании Anthropic письмо, в котором сослалось на малоизвестное правило экспортного контроля, запрещающее лицам, не являющимся гражданами США — в том числе собственным сотрудникам Anthropic — доступ к моделям Fable 5 и Mythos 5, мотивируя это неуточненными соображениями национальной безопасности. В Anthropic заявили, что, по их мнению, письмо связано с обходом мер безопасности модели, но они не уверены в этом, поскольку в письме отсутствуют конкретные детали. Текст письма не был обнародован.
В ответ на это компания Anthropic отключила обе свои флагманские модели для всех клиентов, чтобы обеспечить соблюдение директивы. В результате правительство США успешно заставило технологическую компанию отключить свои модели посредством быстрых односторонних действий, которые, по-видимому, не требовали одобрения суда.
Вмешательство администрации Трампа в пятницу показывает, что отрасль искусственного интеллекта не застрахована от вмешательства со стороны правительства. Оно также посылает более широкий сигнал миру технологий: подчиняйтесь, или мы можем закрыть и вас, и ваши продукты.
Ссылаясь на источники, Axios описал напряженную ситуацию, сложившуюся в минувшие выходные между двумя основными сторонами, предположив, что причиной принятия экспортной директивы стали «личностные разногласия» между Anthropic и администрацией Трампа, а не технические недостатки продуктов ИИ.
Новые подробности, появившиеся в выходные, теперь еще больше ставят под сомнение и без того сомнительную аргументацию правительства.
Кэти Мусурис, ветеран в области кибербезопасности, исследователь и основательница Luta Security, написала в своём блоге, что компания Anthropic недавно предоставила ей частную копию статьи исследователей в области безопасности, в которой описывается предполагаемый способ обхода защитных механизмов в Fable 5. (Как сообщает The Wall Street Journal, авторы статьи — исследователи в области безопасности из компании Amazon.) Муссурис сообщила, что компания Anthropic обратилась к ней с просьбой высказать своё мнение по поводу этой статьи.
В своём блоге Муссурис описала, как исследователи вызвали обход защитных механизмов, но отметила, что сам обход «ни в коем случае не должен был вызвать срабатывание механизма экспортного контроля». Ключевое различие заключается в том, просят ли модель ИИ «проверить код на наличие проблем безопасности» или просят «исправить этот код». Конечный результат в основном одинаков, даже если вопросы сформулированы немного по-разному.
«Поведение, описанное в статье, невозможно исправить каким-либо значимым образом, и любая попытка только ослабила бы защитные возможности модели», — заявила Муссурис, которая раскритиковала директиву об экспортном контроле как поспешную, чрезмерно жесткую и ошибочную.
Муссурис, наряду с десятками других ведущих исследователей и экспертов в области безопасности, с тех пор призвала администрацию Трампа отменить указ об экспортном контроле, назвав «опасным» шаг, направленный на лишение защитников сетей в США передовых возможностей в сфере кибербезопасности.
Предыдущие администрации принимали радикальные решения, основанные на пробелах в знаниях. Например, формулировки, использованные правительством США в 2010-х годах для корректировки экспортного законодательства в отношении инструментов кибербезопасности, которые также могли бы использоваться для кибератак, были настолько широкими, что непреднамеренно почти поставили под запрет законные исследования в области безопасности и уязвимостей.
Однако директива администрации Трампа выглядит как ответная мера.
Джастин Хендрикс, редактор Tech Policy Press, заявил, что шаг администрации Трампа «вероятно, вызовет тревогу в столицах других стран относительно надежности американского ИИ для критически важных приложений». Суть заключается в том, что компаниям, занимающимся ИИ в США, нельзя доверять работу без вмешательства со стороны правительства США.
Администрация Трампа не подтвердила, почему она применила директиву об экспортном контроле. Неужели чиновники неверно истолковали отчет и отреагировали слишком резко? Неужели генеральный директор Amazon Энди Джасси сказал что-то высокопоставленным правительственным чиновникам, что вызвало такую реакцию — из осторожности или из злобы? Было ли что-то упущено при переводе, или это был способ оказать давление на компанию Anthropic, с которой у администрации и без того натянутые отношения? Возможно, Белый дом не осознавал далеко идущих последствий требования, изложенного в письме, и теперь чиновники спешат исправить нанесенный ими ущерб.
Цитируя Хендрикса: «В воздухе витает атмосфера подозрений, что высокопоставленные чиновники выбирают фаворитов, руководствуясь личными и политическими соображениями». Результатом стало то, что правительство создало опасный прецедент в отношении того, насколько сильно оно намерено контролировать выпуск программного обеспечения американского производства.
На этот раз правительство выступило против компании Anthropic; завтра это может коснуться кого угодно.
Anthropic выпускает Opus 4.8 с новым инструментом для динамической организации рабочего процесса
В четверг компания Anthropic представила Opus 4.8 — новую версию своей флагманской общедоступной модели. Стоимость обновления осталась на прежнем уровне, и теперь оно доступно на всех платформах.Выпус
Frontier AI Labs отказывается раскрывать стратегии локализации неконтролируемых моделей
Последние исследования показывают, что лишь немногие ведущие лаборатории, занимающиеся ИИ, опубликовали или продемонстрировали планы реагирования на попытки выхода системы из-под контроля. План сдержи
Anthropic представляет Fable: более доступную и менее ограничительную модель ИИ
Вторник, Anthropic запустила Fable и Mythos 5.1, предложив парные версии своего новейшего ИИ-технологического решения. Помимо повышения производительности, обновленная версия Fable сокращает использование токенов и ужесточает фильтры безопасности, чт





Дом






