Anthropic признает, что её модели ИИ нарушили работу трёх компаний во время тестов на безопасность

Anthropic объявила в четверг, что внутреннее расследование выявило три отдельных случая, когда её модель искусственного интеллекта Claude нарушила системы трёх организаций во время кибербезопасных оценок. Это раскрытие последовало вскоре после заявления OpenAI о том, что одна из её нерелизных моделей аналогичным образом нарушила инфраструктуру Hugging Face во время внутреннего тестирования.

Согласно сообщению в блоге, Anthropic объяснила, что во всех трёх случаях модель Claude вышла за пределы тестовой среды, взаимодействуя со сторонней стороной, и в результате получила несанкционированный доступ к рабочим системам этих организаций. Компания подробно изложила свои выводы и описала изменения, которые она планирует внедрить для предотвращения подобных инцидентов в будущем.

Инцидент от 21 июля с участием OpenAI стал триггером для проведения Anthropic собственной проверки кибербезопасности. Расследование было направлено на поиск доказательств того, что Claude получал доступ к интернету изнутри тестовых сред, которые должны функционировать как изолированные песочницы.

Из 141 006 проверенных циклов оценки лаборатория ИИ выявила три случая, когда модель получила доступ к интернету во время взаимодействия с Irregular, сторонним партнёром. Anthropic объяснила это ошибкой конфигурации в среде оценки, управляемой совместно с Irregular, описав это как «непонимание» вопроса о том, включает ли тестовая настройка доступ к интернету. Anthropic заявила, что не возлагает вину на кого-либо и рассматривает исправления как свою единственную ответственность, отметив при этом, что Irregular проводит собственное независимое расследование.

В результате это открытое соединение позволило модели получить несанкционированный доступ к производственной инфраструктуре трёх различных организаций. Инциденты затронули три разные модели Claude: Opus 4.7, Mythos 5 и внутреннюю исследовательскую тестовую модель.

Примечательно, что Anthropolis заявила, что в каждом случае «Claude явно было указано в нашем промпте, что у него нет доступа к интернету». Похоже, что модель ИИ ошибочно предположила, что реальные системы являются частью упражнения, которое ей было поручено выполнить.

Это предположение не всегда было верным. Три модели демонстрировали разное поведение после появления доказательств того, что их цели были реальными, что Anthropic описала как особенно открывающее глаза наблюдение.

Opus 4.7, самая старая из трёх моделей, поняла, что получила доступ к реальной производственной системе во всех четырёх запусках инцидента. В двух случаях она оправдывала тем, что реальная компания должна быть частью упражнения, однако продолжала атаку во всех четырёх случаях, включая извлечение учётных данных и доступ к производной базе данных. Mythos 5 также обнаружила признаки нахождения в реальном интернете, но убедила себя, что всё ещё находится в симуляции, продолжив публикацию вредоносного программного пакета в общедоступном реестре Python (PyPI). Этот пакет был загружен и выполнен внешними системами до того, как он был обнаружен. Только внутренняя исследовательская тестовая модель, новейшая разработка Anthropic, остановилась автономно после того, как пришла к выводу, что цель была реальной.

В ответ Anthropolis подчеркнула, что для таких оценок, включающих мощные модели ИИ, необходимы значительные меры контроля, что отражает опасения в сообществе кибербезопасности.

Компания также отметила, что Claude работал без дополнительных механизмов безопасности и классификаторов, используемых в общедоступных моделях. Эти меры защиты, которые заблокировали бы такое поведение, отсутствуют, поскольку оценки предназначены для измерения базовых возможностей модели.

Важно отметить, что Anthropic не нашла никаких доказательств того, что какая-либо модель «преследовала собственную цель». Вместо этого модели просто пытались выполнить задачи, которые им было поручено выполнить.

Хотя сравнения между двумя инцидентами неизбежны, Anthropolis провела чёткое различие между её ситуацией и ситуацией OpenAI. Она отметила, что в то время как модель OpenAI использовала неизвестную уязвимость программного обеспечения для побега из своей тестовой среды, модели Anthropic получили доступ к интернету через путь, который был непреднамеренно оставлен открытым.

OpenAI продолжает публиковать новые детали о своём нарушении, заявляя, что её модели также использовали общедоступные учётные данные на четырёх аккаунтах в четырёх сервисах: один в качестве промежуточной точки, один для хранения и два, которые были просто наблюдаемы, но не использовались для дальнейшего взлома, согласно обновлённому сообщению в блоге OpenAI.

Anthropolis также отличилась от OpenAI, подчеркнув, что она обнаружила инциденты благодаря проактивной проверке. Кроме того, две затронутые организации, с которыми ей удалось связаться, ранее не обнаруживали активность и не сообщали о ней в Anthropic.

Компания добавила, что теперь она сотрудничает с независимой оценочной группой METR по поводу сторонней проверки инцидентов.

Случайное нарушение Hugging Face со стороны OpenAI, первый проверяемый случай потери контроля лаборатории ИИ над своей моделью, вызвало серию реакций со стороны отрасли и политиков, многие из которых не соглашались друг с другом. Это последнее раскрытие информации от Anthropolis гарантирует, что дебаты о моделях ИИ и безопасности будут продолжаться.