ChatGPT использовался для кражи конфиденциальных данных Gmail в результате взлома системы безопасности

Предупреждение о безопасности: Исследователи продемонстрировали технологию утечки данных с помощью искусственного интеллекта

Эксперты по кибербезопасности недавно обнаружили уязвимость, позволяющую использовать функцию глубокого исследования ChatGPT для бесшумного извлечения конфиденциальных данных Gmail. Хотя компания OpenAI уже исправила эту уязвимость, данный инцидент подчеркивает новые проблемы безопасности, возникающие при использовании автономных систем искусственного интеллекта.

Механизм эксплойта Shadow Leak

Аналитики по безопасности из компании Radware разработали эту атаку, демонстрирующую, как присущая ИИ услужливость может быть использована в качестве оружия. Техника использует принцип работы ИИ-помощников: их авторизуют для доступа к конфиденциальным учетным записям, таким как электронная почта, а затем оставляют выполнять автоматические задачи без присмотра.

Прорывная уязвимость заключалась в сложной атаке с использованием подсказок. В отличие от традиционных киберугроз, эти манипуляции встраивают вредоносные инструкции, которые кажутся доброкачественными для человека, но полностью перенаправляют поведение ИИ-агента.

Анатомия атаки

Исследователи внедрили скрытые команды в электронное письмо в аккаунте Gmail, к которому мог получить доступ ИИ. Впоследствии пользователь активировал функцию Deep Research:

1. ИИ обрабатывал взломанное письмо, содержащее скрытые инструкции.
2. Он был скрытно перенаправлен на поиск кадровых документов и личных данных.
3. Система начала экспортировать эту информацию в контролируемые злоумышленниками каналы.

Что делает этот подход особенно коварным, так это его реализация полностью в облачной инфраструктуре OpenAI, в обход обычных инструментов мониторинга безопасности, которые следят за аномальным сетевым трафиком.

Более широкие последствия

Исследовательская группа подчеркивает, что это был не простой эксплойт - разработка надежных методов эксфильтрации потребовала длительного тестирования и доработки. Их успех демонстрирует, насколько сложными становятся векторы атак, ориентированных на ИИ.

Несмотря на то что данная уязвимость была устранена, компания Radware предупреждает, что аналогичные методы могут быть направлены и на другие интегрированные службы, включая:

• Microsoft Outlook
• репозитории GitHub
• Google Drive
• учетные записи Dropbox.

Этот инцидент является важным сигналом тревоги для организаций, внедряющих инструменты ИИ с широкими привилегиями доступа к системе. По мере того как агенты ИИ становятся все более автономными и широко интегрированными, разработка специализированных средств защиты от таких новых векторов атак становится все более важной.