Предыстория утечек, связанных с криптоанализом и чатом «Claude» компании Anthropic

Поиск в Google выдал более 25 страниц результатов, содержащих свыше 200 диалогов с моделью Claude, в некоторых из которых фигурировала личная или служебная информация. Источник: Anthropic

Утечка чатов с Claude подчеркивает бизнес-риски, связанные с «теневым» ИИ, в то время как Mythos Preview выявляет слабые места в алгоритмах шифрования, одобренных NIST.

Недавно в заголовках новостей появились две важные новости о компании Anthropic, демонстрирующие как возможности, так и реальные проблемы передовых систем ИИ.

Эта компания, занимающаяся ИИ, использовала версию Claude Mythos Preview для выявления новых и усовершенствованных способов атак на криптографические алгоритмы — математическую основу конфиденциальной интернет-коммуникации.

Второе, менее благоприятное событие, заключалось в том, что сотни диалогов пользователей с Claude появились в публичных результатах поиска, что вызвало серьезные вопросы о том, как организации управляют внедрением своих ИИ-инструментов.

Как ссылки на чаты стали доступны для поиска

Все началось с того, что пользователи Reddit заметили, что диалоги с Claude можно найти через поиск Google. В результате было обнаружено более 200 диалогов, распределенных по 25 страницам результатов.

Некоторые диалоги содержали личную информацию, а в других упоминались детали рабочих проектов.

Спенсер Старки, исполнительный вице-президент по региону EMEA в компании SonicWall

Представитель компании Anthropic сообщил BBC News, что публикация ссылки на чат делает его содержание общедоступным. Хотя Claude предупреждает пользователей о том, что любой, у кого есть ссылка, может просмотреть диалог, в предупреждении не уточняется, что поисковые системы могут индексировать опубликованный контент.

Эта утечка подчеркивает серьезную проблему для бизнеса: «теневой ИИ». Согласно исследованию Vanta Security, в 70 % компаний сотрудники используют неавторизованные инструменты искусственного интеллекта.

Спенсер Старки, исполнительный вице-президент SonicWall по региону EMEA, оценивает последствия использования «теневого ИИ».

«Сотрудники ежедневно используют общедоступные платформы LLM/ИИ, загружая в них данные клиентов, внутренние документы и конфиденциальную переписку, при этом не существует никаких соответствующих политик», — отмечает Спенсер.

«Возможность блокировать несанкционированные протоколы ИИ на уровне брандмауэра уже существует, но используют ли её компании? Что ж, теперь как никогда ясно, что им действительно следует это делать.

«Пока организации не начнут относиться к «теневому ИИ» с той же серьезностью, что и к несанкционированным сторонним приложениям, они оставляют без внимания значительный и в значительной степени невидимый риск утечки данных — когда потенциально конфиденциальные данные могут просто всплыть в результатах поиска Google».

По данным BBC News, компания Anthropic приняла меры, чтобы крупные поисковые системы не индексировали ссылки на общие чаты.

Криптографический анализ с помощью Mythos Preview

Claude Mythos Preview продемонстрировал способность выявлять скрытые уязвимости программного обеспечения. Новое исследование Anthropic показало, что эта способность распространяется и на криптографический анализ.

Пока организации не будут относиться к «теневому ИИ» с той же серьезностью, что и к несанкционированным сторонним приложениям, они оставляют без внимания значительный и в значительной степени незаметный риск утечки данных

Спенсер Старки, исполнительный вице-президент по региону EMEA в компании SonicWall

Эти криптографические шифры представляют собой математические алгоритмы, обеспечивающие безопасность интернет-трафика. Они защищают онлайн-банкинг, электронную почту и другие виды коммуникаций с помощью шифрования.

Исследователи Mythos обнаружили атаку на HAWK — схему цифровой подписи, которую Национальный институт стандартов и технологий США (NIST) рассматривал в качестве варианта для постквантовой криптографии.

ИИ модифицировал наиболее известную атаку на HAWK менее чем за 60 часов, снизив прочность ключа алгоритма вдвое.

В ходе исследования также был проанализирован стандарт расширенного шифрования (AES). По данным компании Anthropic, с момента его принятия NIST в 2001 году AES подвергся более тщательному анализу, чем любой другой алгоритм шифрования.

Ключевые факты

• По данным Vanta Security, в 70 % компаний сотрудники используют несанкционированные инструменты ИИ
• Самая известная атака на HAWK была модифицирована Mythos менее чем за 60 часов, что сократило прочность ключа алгоритма вдвое
• Mythos смогла взломать более слабую версию шифрования AES со скоростью, в 200–800 раз превышающей скорость предыдущих наиболее эффективных атак

Mythos взломал более слабую версию этого шифрования в 200–800 раз быстрее, чем предыдущие атаки. Компания заявляет, что для текущих систем это не представляет непосредственной угрозы, поскольку HAWK пока не внедрен, а исходный шифр AES не был взломан.

Anthropic рассматривает эти результаты как шаг вперед в области криптографических исследований. Компания сотрудничает с учеными из Цюрихского федерального политехнического института (ETH Zurich), Тель-Авивского университета и Берлинского технического университета (TU Berlin) над созданием платформы CryptanalysisBench.

Этот тестовый набор объединяет криптографические шифры для оценки возможностей LLM в области криптоанализа. Anthropic поделилась результатами своих исследований с правительством США и партнерами из отрасли.

Anthropic также отмечает, что в июне предоставила подробности исследования HAWK авторам алгоритма. Д-р Адам Эверспау (Adam Everspaugh), консультант по криптографии в Keeper Security, отмечает, что темп развития имеет первостепенное значение.

Адам Эверспау, консультант по криптографии в Keeper Security. Источник: Station70

«Сообщается, что для этой атаки потребовалось около 60 часов исследований с помощью ИИ, чтобы обнаружить то, что не удалось выявить за два года экспертной проверки людьми. Уже одно это должно заставить организации пересмотреть свой подход к готовности к квантовым вызовам», — говорит Адам.

Создание криптогибких систем

Адам подчеркивает, что выбор алгоритма сам по себе не определяет устойчивость системы. «Криптогибкость так же важна, как и сам выбор алгоритма», — отмечает он.

«Системы, построенные с возможностью замены или исправления криптографических примитивов без полной переработки архитектуры, гораздо легче адаптируются к подобным открытиям, чем те, которые привязаны к одной схеме.

На практике это означает ведение актуального реестра того, где и как криптографические алгоритмы используются в вашей среде, а также обеспечение наличия путей обновления до того, как потребуется принудительная миграция».