Безопасность искусственного интеллекта — это актуальная проблема для всех, включая Google

Недавно у меня представилась возможность поговорить с Фрэнсисом де Соуза, операционным директором Google Cloud, за кулисами мероприятия в Лос-Анджелесе. Несмотря на окружающий шум, де Соуза — который говорит спокойным, выдержанным тоном университетского профессора — дал практические рекомендации компаниям, ориентирующимся в современной сфере безопасности искусственного интеллекта. Он отметил: «Будет переходный период, и затем, я думаю, мы достигнем более благоприятной ситуации».

В тот момент он не говорил конкретно о Google, но ясно, что даже Google все еще решает эти проблемы.

Основная идея де Соузы — это то, что специалисты по безопасности давно пытаются донести до руководства, и теперь, в связи с развитием ИИ, это стало особенно актуально: безопасность не может быть второстепенным вопросом. «Начиная свой путь в области ИИ, компании должны применять платформенный подход», — сказал он. «Безопасность — это не то, что можно добавить позже, и не то, что можно оставить на усмотрение сотрудников». Он особо предупредил о «теневом ИИ» — когда сотрудники используют потребительские инструменты без контроля со стороны организации — и подчеркнул, что компании должны с самого начала требовать от своих платформ обеспечения безопасности, управления и возможности аудита. «Не бывает стратегии ИИ без стратегии работы с данными и стратегии безопасности. Они должны идти рука об руку».

Стоит отметить: он рекламировал не только Google Cloud. Когда я заметил, что его советы звучат как реклама Google, он возразил. По его словам, Google привержен мультиоблачному подходу, и он утверждал, что компании, которые думают, что работают в одном облаке, почти наверняка ошибаются. «Даже если они выбирают одно облако, они по-прежнему полагаются на приложения SaaS, а у них есть деловые партнеры, которые могут использовать другие облака», — сказал он. «Для компаний важно иметь единую систему безопасности, одинаковую для всех облаков и всех моделей».

Он также привёл аргументы в пользу того, что ландшафт угроз изменился настолько коренным образом, что старые модели защиты работают слишком медленно. Он отметил, что среднее время между первоначальным проникновением и переходом к следующему этапу атаки сократилось с восьми часов до 22 секунд, а поверхность атаки расширилась за пределы традиционного сетевого периметра. «Помимо вашей обычной инфраструктуры, теперь у вас есть модели. У вас есть конвейеры данных, используемые для обучения моделей. У вас есть агенты, у вас есть подсказки. Все это необходимо защищать».

Де Соуза указал на одну угрозу, которой уделяется недостаточно внимания: агенты, перемещающиеся по внутренним системам компании, могут обнаружить забытые хранилища данных, о которых никто не вспоминал годами. «У многих организаций есть старые серверы SharePoint [и средства контроля доступа], которые они фактически не обновляли, но это не имело значения, потому что никто на самом деле не знал, где они находятся. Однако агенты, перемещающиеся по вашей корпоративной сети, найдут эти хранилища данных и раскроют содержащиеся в них данные».

Решение, по его мнению, заключается в том, чтобы противопоставить скорость машин скорости машин. «Сейчас мы наблюдаем появление полностью агентской системы защиты, основанной на искусственном интеллекте, в которой организации могут запускать агенты, управляющие их защитой», — сказал он. «Вместо защиты, управляемой людьми, или даже с участием человека в процессе, теперь люди могут контролировать полностью агентскую систему защиты». Он добавил, что это стало вопросом руководства, а не только технологическим вопросом. «Это вопрос, который должен решаться на уровне совета директоров и исполнительного руководства. Это не просто проблема команды по безопасности».

Но даже несмотря на то, что ИИ берет на себя все большую часть нагрузки по обеспечению защиты, специалистов, способных контролировать эту систему, не хватает — а уязвимости, которые создает сам ИИ, множатся быстрее, чем службы безопасности успевают их устранять. «Нам понадобятся люди, способные справиться с «апокалипсисом ошибок», — заявила на этой неделе газете New York Times директор по информационной безопасности LinkedIn Леа Кисснер, добавив, что не ожидает, что отрасль сможет понять вопросы безопасности ИИ с точки зрения устойчивого долгосрочного развития как минимум в течение нескольких лет.

Это возвращает нас к самим поставщикам платформ. В течение последних нескольких недель издание The Register опубликовало серию репортажей, в которых описывается волна случаев, когда разработчики Google Cloud получали счета на пятизначные суммы в результате несанкционированных вызовов API к моделям Gemini — сервисам, которыми многие из них никогда не пользовались и которые не включали намеренно. Все эти случаи развивались по одной и той же схеме: ключи API, изначально развернутые для Google Maps и размещенные в открытом доступе в соответствии с собственными инструкциями Google, незаметно получили возможность доступа к Gemini после того, как Google расширил их сферу действия, не сообщив об этом явно.

Род Данан, генеральный директор платформы для подготовки к собеседованиям Prentus, сообщил, что его счет достиг 10 138 долларов примерно за 30 минут после того, как злоумышленники воспользовались его скомпрометированным ключом API. Исуру Фонсека, разработчик из Сиднея, чей аккаунт был взломан аналогичным образом, проснулся и обнаружил списания на сумму около 17 000 австралийских долларов, хотя был уверен, что у него установлен лимит расходов в 250 долларов. Оба они не знали, что автоматизированные системы Google повысили их тарифные планы на основе истории счетов, увеличив их фактические лимиты до 100 000 долларов без явного согласия.

Google вернул деньги обоим после того, как The Register опубликовал свой первоначальный репортаж. Тем не менее, Google сообщил The Register, что не планирует менять свою политику автоматического повышения уровней, заявив, что приоритетом для компании является предотвращение сбоев в работе сервисов, а не соблюдение заявленных пользователями бюджетных предпочтений.

Между тем возникает отдельный вопрос: что происходит, когда разработчик пытается прекратить работу сервиса? На этой неделе The Register сообщил об исследовании компании Aikido, специализирующейся на безопасности, в ходе которого было установлено, что даже разработчики, обнаружившие скомпрометированный ключ и немедленно удалившие его, могут оказаться в опасности. Согласно выводам Aikido, злоумышленники, по-видимому, могут продолжать использовать этот ключ в течение 23 минут, поскольку отзыв ключа Google распространяется по его инфраструктуре постепенно. Исследователь из Aikido Джозеф Леон рассказал The Register, что в течение этого периода вероятность успеха непредсказуема — в некоторые минуты более 90 % запросов по-прежнему проходят аутентификацию — и злоумышленники могут использовать это время для похищения файлов и данных кэшированных переписок из Gemini.

Леон также отметил, что более новые форматы учетных данных Google, по-видимому, не имеют такой же проблемы: учетные данные API служебных учетных записей аннулируются примерно за пять секунд, а для нового формата ключей Gemini с префиксом AQ это занимает около минуты. «Оба работают в масштабах Google», — написал он в соответствующей статье Aikido. «Оба варианта указывают на то, что эту проблему технически можно решить и для ключей API Google». Короче говоря, по мнению Леона, 23-минутное окно — это не техническое ограничение, а вопрос приоритетов компании.

Об этом стоит помнить при чтении советов де Соузы, которые являются обоснованными и к которым следует отнестись очень серьезно. Он не ошибается, но в настоящее время существует разрыв между тем, что предписывают платформы, и тем, как быстро они сами адаптируются, и об этом тоже полезно помнить.