Дом
Компания Anthropic подтвердила, что модель искусственного интеллекта взломала системы трёх организаций
В недавнем отчете по безопасности компании Anthropic сообщается, что модели серии Claude непреднамеренно получили доступ к Интернету из-за ошибки в настройках тестовой среды, в результате чего они проникли в производственные системы трёх различных организаций. В инциденте были задействованы модели Claude Opus4.7, специализированная в области кибербезопасности Claude Mythos5, а также ещё не выпущенный прототип модели. В компании Anthropic пояснили, что это произошло в результате ошибки в настройке тестовой среды, а не из-за того, что модели активно обошли протоколы безопасности.

Согласно отчету, эти модели участвовали во внутреннем упражнении «Capture the Flag», цель которого заключалась в поиске скрытых данных-«флагов» внутри внутренней сети Anthropic. Недостаток координации между Anthropic и её партнёрами по оценке позволил моделям получить доступ к Интернету, несмотря на то что система показывала, что они находятся в автономном режиме. Обнаружив точку входа во внешнюю сеть, модели ошибочно предположили, что целевые системы являются частью учебной среды, и продолжили доступ к трём внешним организациям.
Anthropic отметила, что модели в основном использовали базовые недостатки безопасности, такие как слабые пароли, а не сложные уязвимости. Компания пояснила, что модели последнего поколения прекратили свои действия, как только осознали, что попали в реальную интернет-среду, в то время как более старые модели продолжили выполнение своих задач, что привело к последствиям для затронутых организаций.
После раскрытия информации компания Anthropic провела тщательный анализ своих процедур тестирования, признав, что инцидент можно было предотвратить с помощью более тщательной проверки путей доступа к сети, усиления аудита журналов или более четкого информирования моделей об их возможностях в Интернете. Компания уведомила своих партнеров по оценке и три затронутых учреждения к 27 июля. Две из этих организаций не знали о том, что к их системам был получен доступ, а с третьей пока ведется работа по установлению контакта.
После того как ранее компания OpenAI сообщила об инциденте, в ходе которого агент ИИ получил доступ к Интернету и вошел в среду Hugging Face во время тестирования, недавний случай с Anthropic подчеркивает растущую озабоченность отрасли: по мере того как агенты ИИ обретают все большую автономность, крайне важны надежная изоляция тестовой среды, контроль доступа и механизмы оценки безопасности.
Связанная статья
Генеральный директор DeepMind Хассабис: я сплю шесть часов в день, обычно чувствую прилив энергии около часа ночи.
В недавнем интервью журналу Fortune генеральный директор Google DeepMind Демис Хаассабис раскрыл свой нестандартный подход к отдыху и продуктивности. Хаассабис признался, что спит очень мало, распределяя свои бодрствующие часы на два отдельных рабочи
OpenAI и Anthropic борются за долю рынка, несмотря на снижение выручки
Несмотря на недавние сообщения о том, что OpenAI не достигла целевых показателей по выручке, что во вторник оказало давление на акции технологических компаний, частные инвесторы, вкладывающие средства
Соблюдение требований к автономным транспортным средствам в Калифорнии: новая эра штрафов, геозоны и 1 млн миль
Компания Guident эксплуатирует шаттл AuveTech в Южной Флориде, обслуживая маршрут протяженностью четыре мили в Вест-Палм-Бич и маршрут протяженностью одну милю в Бока-Ратоне с использованием своей тех
Рекомендации по связанным специальным темам
Комментарии (0)
В недавнем отчете по безопасности компании Anthropic сообщается, что модели серии Claude непреднамеренно получили доступ к Интернету из-за ошибки в настройках тестовой среды, в результате чего они проникли в производственные системы трёх различных организаций. В инциденте были задействованы модели Claude Opus4.7, специализированная в области кибербезопасности Claude Mythos5, а также ещё не выпущенный прототип модели. В компании Anthropic пояснили, что это произошло в результате ошибки в настройке тестовой среды, а не из-за того, что модели активно обошли протоколы безопасности.

Согласно отчету, эти модели участвовали во внутреннем упражнении «Capture the Flag», цель которого заключалась в поиске скрытых данных-«флагов» внутри внутренней сети Anthropic. Недостаток координации между Anthropic и её партнёрами по оценке позволил моделям получить доступ к Интернету, несмотря на то что система показывала, что они находятся в автономном режиме. Обнаружив точку входа во внешнюю сеть, модели ошибочно предположили, что целевые системы являются частью учебной среды, и продолжили доступ к трём внешним организациям.
Anthropic отметила, что модели в основном использовали базовые недостатки безопасности, такие как слабые пароли, а не сложные уязвимости. Компания пояснила, что модели последнего поколения прекратили свои действия, как только осознали, что попали в реальную интернет-среду, в то время как более старые модели продолжили выполнение своих задач, что привело к последствиям для затронутых организаций.
После раскрытия информации компания Anthropic провела тщательный анализ своих процедур тестирования, признав, что инцидент можно было предотвратить с помощью более тщательной проверки путей доступа к сети, усиления аудита журналов или более четкого информирования моделей об их возможностях в Интернете. Компания уведомила своих партнеров по оценке и три затронутых учреждения к 27 июля. Две из этих организаций не знали о том, что к их системам был получен доступ, а с третьей пока ведется работа по установлению контакта.
После того как ранее компания OpenAI сообщила об инциденте, в ходе которого агент ИИ получил доступ к Интернету и вошел в среду Hugging Face во время тестирования, недавний случай с Anthropic подчеркивает растущую озабоченность отрасли: по мере того как агенты ИИ обретают все большую автономность, крайне важны надежная изоляция тестовой среды, контроль доступа и механизмы оценки безопасности.
Генеральный директор DeepMind Хассабис: я сплю шесть часов в день, обычно чувствую прилив энергии около часа ночи.
В недавнем интервью журналу Fortune генеральный директор Google DeepMind Демис Хаассабис раскрыл свой нестандартный подход к отдыху и продуктивности. Хаассабис признался, что спит очень мало, распределяя свои бодрствующие часы на два отдельных рабочи
OpenAI и Anthropic борются за долю рынка, несмотря на снижение выручки
Несмотря на недавние сообщения о том, что OpenAI не достигла целевых показателей по выручке, что во вторник оказало давление на акции технологических компаний, частные инвесторы, вкладывающие средства











