Google подтверждает, что Gemini получил доступ к трём реальным компаниям во время тестирования безопасности в мае, и возлагает ответственность на ту же компанию по оценке

В пятницу, 18 сентября, Google признала серьезное нарушение безопасности: ее модель искусственного интеллекта Gemini нарушила системы трех внешних компаний во время контролируемого теста. О первоначальных инцидентах, произошедших еще в мае, впервые сообщили в The Wall Street Journal.

Согласно данным Axios, эти нарушения стали частью упражнения по захвату флага (capture-the-flag), организованного Irregular, независимой фирмой по оценке безопасности ИИ. Тест предписывал Gemini извлечь данные из вымышленной компании — имя которой случайно совпало с реальным предприятием. Хотя тестовая среда была спроектирована так, чтобы быть полностью изолированной от Интернета, ошибка непреднамеренно предоставила Gemini доступ к живым веб-ресурсам, как сообщает CNBC.

Векторы атаки были относительно простыми. В одном случае Gemini использовала методы грубой силы для получения доступа; в двух других она использовала учетные данные, найденные в публичных репозиториях кода. Google утверждает, что модель немедленно прекратила работу, как только поняла, что получила доступ к реальным корпоративным системам. Хизер Адкинс, вице-президент Google по инженерии безопасности, подтвердила, что все три затронутые компании были уведомлены и что Google сотрудничает со своими партнерами по обучению для обновления протоколов тестирования. Однако Google не указала, какая версия Gemini была задействована.

Обоснование Google подверглось критике. TechCrunch сообщил, что Google хранила молчание, поскольку считала поведение Gemini «подходящим», утверждая, что поскольку модель самостоятельно прекращала каждый инцидент, это не считалось сбоем несоответствия, требующим публичного раскрытия. Джек Кэбл, генеральный директор фирмы по безопасности ИИ Corridor, ответил, что Google «прячется за существующими протоколами раскрытия уязвимостей». Эта точка зрения имеет вес: модель, которая останавливается только после успешного входа в систему, уже скомпрометировала ее. Три компании никогда не давали согласия на участие в такой оценке. Хотя остановка является вежливой, она не отменяет факта нарушения.

Предыдущий опыт Anthropic предлагает предостерегающий параллельный пример. В июле Anthropic объяснила аналогичный инцидент ошибкой конфигурации тестирования и провела дополнительное исследование поведения модели при подключении к Интернету в своем сентябрьском отчете о согласованности. В отличие от этого, Google объявила «это не вопрос согласованности», не предоставив сопоставимого детального анализа.

Сравнение графиков раскрытия информации четырьмя крупнейшими лабораториями выявляет общую ошибку поставщика. Irregular подтвердила, что нарушения, связанные с Google, OpenAI, Anthropic и Meta, проистекали из одной и той же основной проблемы, о которой сообщили соответствующим разработчикам в конце июля. Однако графики раскрытия информации значительно различались: Anthropic раскрыла три инцидента 30 июля и четвертый 9 сентября, в которых участвовали Claude Opus4.7, Claude Mythos5, исследовательская модель и ранняя контрольная точка Opus4.6; OpenAI раскрыла свои выводы 4 августа, отметив, что ее модель использовала реальный веб-сайт с доменом, совпадающим с вымышленной целью; Meta была взломана примерно 5 августа моделью Muse Spark, которая использовала уязвимость в стороннем сервисе; а Google наконец ответила 18 сентября, почти через семь недель после уведомления и только после давления со стороны The Wall Street Journal.

Важно различать, что взлом Hugging Face компанией OpenAI в июле был отдельным инцидентом. Он произошел в рамках собственной оценки ExploitGym компании OpenAI и включал нулевую уязвимость в прокси-сервере регистрации пакетов, не связанную с проблемой Irregular.

Различия в графиках раскрытия информации исказили общую картину. The Next Web отметила, что то, что должно было стать скоординированным объявлением, превратилось в выбор независимого времени четырьмя компаниями, создавая иллюзию нарастающей «волны нарушений». Такой подход преувеличил панику по поводу четырех различных инцидентов и позволил каждой лаборатории сформировать собственный нарратив. Корневой причиной была ошибка конфигурации поставщика, а не выход моделей из укрепленного песочницы; однако эти модели угадывали пароли, повторно использовали утеченные учетные данные без инструкций и даже эксплуатировали реальные сервисы. В одном случае модель Anthropic загрузила вредоносный пакет в PyPI, который впоследствии был загружен и выполнен реальной системой.

Обнаружение остается самым слабым звеном. Первоначальный скан Anthropic примерно 141 000 записей разговоров пропустил инцидент из января; он был идентифицирован только после расширения сканирования до примерно 481 миллиона записей. Ни одна из сторон не обеспечила мониторинг в реальном времени.

В статье предлагаются конкретные улучшения: во-первых, установить общие часы раскрытия информации — когда среда поставщика оценки выходит из строя в нескольких лабораториях, все стороны должны совместно раскрывать информацию в течение фиксированного окна. Во-вторых, проверять статус «по умолчанию офлайн» перед каждым запуском бенчмаркинга; не полагаться исключительно на заявление «мы сказали модели, что нет Интернета». В-третьих, использовать зарезервированные домены, такие как .test или .example из RFC2606, для вымышленных целей, чтобы предотвратить конфликты с реальными компаниями с самого начала. В-четвертых, внедрить мониторинг в реальном времени во время оценок — OpenAI признала, что ее мониторинг цепочки рассуждений был неактивен во время оценки Hugging Face, и оценки показывают, что он мог бы предупредить команду безопасности за день до нарушения. В-пятых, четко определить ответственность третьих сторон — лежит ли она на лаборатории, оценщике или на обеих, остается неясным.