OpenAI возглавляет инициативу по укреплению кибербезопасности, поддержанную 100 участниками

В начале письма OpenAI говорится: «У нас есть ограниченное время для укрепления киберзащиты». Источник: Getty Images

Крупные технологические компании — в том числе AWS, Google и Microsoft — призывают правительства финансировать средства защиты, в то время как критики называют этот манифест корыстным

Более 100 организаций из сферы технологий, кибербезопасности и финансовых услуг присоединились к OpenAI в открытом письме, призывающем к немедленному глобальному усилению киберзащиты, поскольку модели искусственного интеллекта становятся всё более способными как атаковать, так и защищать цифровые системы.

Основная идея письма ясна: у лидеров отрасли и правительств есть ограниченное время для принятия мер, прежде чем киберугрозы на основе ИИ станут гораздо более распространенными и изощренными. «У нас есть ограниченное время для укрепления киберзащиты», — говорится в письме.

Это открытое письмо объединило беспрецедентную межотраслевую коалицию. Среди подписантов — гипермасштабируемые компании AWS, Google и Microsoft, крупные технологические фирмы Adobe, IBM и Oracle, разработчики ИИ, в том числе Anthropic (конкурент OpenAI), лидеры в сфере безопасности, такие как CrowdStrike, Palo Alto Networks и Red Hat, поставщики оборудования и телекоммуникационных услуг, крупные консалтинговые компании, а также финансовые гиганты, такие как Mastercard, US Bank и Visa.

Эван Райзер, основатель и генеральный директор Abnormal AI (которая является одним из подписантов), говорит: «Мы подписали письмо OpenAI о коллективных действиях в области киберзащиты, потому что ни одна компания не может решить эту проблему в одиночку».

Эван Райзер, генеральный директор Abnormal Security | Источник: Abnormal Security

«Уязвимости программного обеспечения и вредоносное ПО по-прежнему представляют реальную угрозу, но наиболее дорогостоящие атаки в настоящее время нацелены на людей посредством скомпрометированных учетных данных, захвата учетных записей и социальной инженерии. Внутренние угрозы и проникновение со стороны государств теперь осуществляются с помощью текстовых, голосовых и видео-дипфейков.

«Злоумышленники маскируются под законные личности и ведут себя лишь слегка не так, как положено, благодаря чему им удаётся незаметно проскользнуть мимо инструментов, созданных для обнаружения известного вредоносного ПО. Эти атаки заслуживают такого же приоритетного внимания, как и уязвимости, которые сегодня занимают первые полосы новостей.

«ИИ снижает барьеры для злоумышленников, повышает их скорость и упрощает массовое производство обманных материалов. Мы не можем защищаться от завтрашних атак, опираясь на вчерашние представления.

«Именно поэтому призыв OpenAI к коллективным действиям так важен, и мы в Abnormal AI полностью его поддерживаем. Сообщество специалистов по безопасности имеет как возможность, так и обязанность обеспечить, чтобы защитный ИИ развивался по крайней мере так же быстро, как и наступательный, а это означает создание систем, которые непрерывно обучаются, преобразуют новые данные об угрозах в более мощные производственные средства защиты и рассматривают защиту как совместную работу».

Открытое письмо от более чем 100 технологических компаний с призывом к коллективным действиям против кибератак с использованием ИИ — ещё один ориентир на пути, по которому отрасль движется уже много лет

, — Майкл Валлас, глобальный технический директор Goldilock Secure

Однако в списке подписантов заметно отсутствуют NVIDIA и SpaceX.

Для конкурентов, которые всё же подписали письмо — в частности, соперников в сфере передовых моделей, таких как Anthropic, и гигантов облачной инфраструктуры, таких как AWS и Microsoft, — это отсутствие может подчеркивать растущий стратегический раскол в технологической сфере.

Илон Маск из SpaceX и Дженсен Хуанг из NVIDIA воздержались от подписания открытого письма. Фото: Уин МакНами/Getty

NVIDIA всё активнее выступает в поддержку стандартов моделей с открытым исходным кодом и открытой весовой матрицей, даже запустив собственный конкурирующий альянс Open Secure AI Alliance совместно с SpaceX, в то время как провайдеры проприетарных передовых моделей, такие как OpenAI и Anthropic, выступают за более строго контролируемые экосистемы и централизованные системы доверенного доступа.

Как отмечало агентство Reuters в июне, OpenAI и Anthropic ведут гонку за первенство в выходе на рынок, рассматривая первичное размещение акций как способ определить, как инвесторы будут оценивать компании, и утвердить своих генеральных директоров в качестве ведущих авторитетов в сфере ИИ.

Несмотря на острую коммерческую конкуренцию между этими двумя ведущими лабораториями и продолжающуюся гонку за IPO, совместные заявления знаменуют собой редкий момент публичного согласия.

Дарио Амодей, генеральный директор Anthropic (Фото: Getty Images)

Понимание предлагаемой концепции

В совокупности подписавшиеся стороны предлагают план действий, состоящий из трех частей. Во-первых, они утверждают, что крайне важно признать: существующего уровня безопасности будет недостаточно. Системы по-прежнему в значительной степени уязвимы из-за накопленного технического долга, давно существующих ошибок, неправильных настроек, чрезмерных прав доступа, слабой аутентификации и незапатченного программного обеспечения. Командам по безопасности критически важной инфраструктуры срочно требуется значительное увеличение количества инструментов и ресурсов для преодоления исторической нехватки ресурсов.

Во-вторых, в письме содержится призыв к расширению возможностей защитников за счет ИИ с кибербезопасными функциями. ИИ необходимо использовать для того, чтобы вооружить команды по безопасности специализированными навыками и оптимизировать основные оперативные задачи. Обмен проверенными исправлениями, практическими знаниями и инструментами защиты позволяет работе одной организации обеспечить безопасность многих других.

В-третьих, подписавшие письмо выступают за мобилизацию коллективных действий. Необходимо создавать глобальные партнерства для повышения стандартов безопасности и противодействия возникающим угрозам, обеспечивая при этом, чтобы развитие кибервозможностей оставалось в целом положительным явлением, а не контролировалось какой-либо одной организацией.

Без четких правил процессов и жестких операционных ограничений агенты ИИ неизбежно сойдут с рельсов и станут обузой для организации.

Роджер Ли, региональный вице-президент по консалтингу в области решений для региона EMEA в компании Appian

Ответственность организаций и правительств

В письме утверждается, что для достижения этой цели каждая организация должна повысить свой базовый уровень безопасности путем устранения уязвимостей с высоким уровнем риска и установления более высоких стандартов в отношении того, что она приобретает, создает и внедряет — включая модернизацию устаревших систем для обеспечения принципа минимальных привилегий, надежной аутентификации и архитектуры многоуровневой защиты.

Ожидается, что компании, занимающиеся кибербезопасностью, и технологические партнеры возглавят эти усилия, тщательно тестируя системы защиты, обеспечивая широкие возможности развертывания инструментов и обмениваясь оперативной аналитикой об угрозах и руководствами по реагированию в режиме реального времени.

В то же время в письме подчеркивается, что правительства должны координировать киберзащиту на местном, национальном и международном уровнях путем укрепления каналов взаимодействия между государством и отраслью для обмена оперативной разведданными, определения приоритетности основных рисков и согласования мер реагирования на инциденты на глобальном уровне.

Кроме того, правительствам следует предоставить объектам критической инфраструктуры — таким, как местные органы власти, предприятия водоснабжения и больницы — доступ к эффективным защитным системам на базе искусственного интеллекта, возможность проведения санкционированных испытаний и прямую помощь со стороны надежных поставщиков услуг в области безопасности.

Недавние инциденты с проникновением агентов вызывают скептицизм

Время публикации письма вызвало резкую критику со стороны отраслевых наблюдателей.

OpenAI недавно опубликовала отчет о техническом инциденте, в котором подробно описано, как ее автономные агенты вырвались из тестовой среды «песочницы» и проникли на платформу разработчиков с открытым исходным кодом Hugging Face, которая также является одним из подписантов открытого письма. Компания изложила извлеченные уроки, включая внедрение более строгих границ изоляции и ограниченного доступа к сети.

Её главный конкурент, компания Anthropic, также выявила три инцидента, в ходе которых модель получила доступ к Интернету изнутри среды оценки или во время взаимодействия с ней.

По мнению отраслевых экспертов, этот инцидент подчеркивает фундаментальный недостаток в том, как в настоящее время регулируются автономные системы искусственного интеллекта.

Майкл Валлас, главный технический специалист компании Goldilock Secure, говорит: «Открытое письмо от более чем 100 технологических компаний с призывом к коллективным действиям против кибератак с использованием ИИ — это еще один ориентир на пути, по которому отрасль движется уже много лет.

«Учитывая все недавние новости о том, как ИИ-агенты вырываются из песониц и совершают атаки, стоит помнить, что об опасностях неконтролируемого ИИ говорят уже много лет. По мере того как эти системы становятся умнее и способнее, программное обеспечение не сможет их сдерживать. Мы можем продолжать пытаться перехитрить их, но, возможно, даже не будем знать, насколько умными они становятся».

«Этот инцидент не стал неожиданностью», — говорит Роджер Ли, региональный вице-президент по консалтингу в области решений для регионов EMEA в компании Appian. «Это естественный результат, когда автономные агенты стремятся поразить цели, не ограниченные структурными рамками. OpenAI поставила перед своими агентами цель, а метод обучения с подкреплением просто нашел кратчайший путь к её достижению — что означало координацию действий, сокрытие следов и взлом сторонней системы для получения максимального вознаграждения».

Роджер Ли — региональный вице-президент по консалтингу в сфере решений для регионов EMEA в компании Appian

Роджер подчеркивает, что традиционные механизмы контроля оказываются бессильны, когда агенты незаметно обходят системные ограничения.

«Тот факт, что OpenAI потребовалась целая неделя, чтобы это заметить, доказывает, что «участие человека в цикле» бесполезно, если агенты могут просто обходить его», — добавляет он. «Эту проблему невозможно решить с помощью более безопасного запроса или более умной модели ИИ. Без четких процессуальных правил и жестких операционных ограничителей агенты ИИ неизбежно сойдут с рельсов и станут обузой для организации».

Другие считают этот совместный призыв к действию корыстным, учитывая задействованных поставщиков.

«Это письмо похоже на пресс-релиз, который пытается выдать себя за сигнал тревоги», — пишет Брайан Роеммеле, эксперт в области ИИ и робототехники, владелец компании Multiplex. «Те же лаборатории, агенты которых проскользнули через тестовую среду и попали в производственные системы другой компании, теперь заявляют всем, что время на исходе, и что решением является „доступ на основе доверия“, который они сами и будут помогать администрировать. Как удобно».