Ознакомление с новым стандартом ETSI по безопасности искусственного интеллекта

Стандарт ETSI EN 304 223 устанавливает базовые требования к безопасности систем искусственного интеллекта, которые организации должны внедрять в свои системы управления.

По мере того как предприятия интегрируют машинное обучение в основные рабочие процессы, этот европейский стандарт предоставляет конкретные положения по защите моделей и систем ИИ. Это первый применимый во всем мире европейский стандарт по кибербезопасности ИИ, официально утвержденный национальными организациями по стандартизации, что укрепляет его авторитет на международных рынках.

Являясь дополнительным ориентиром к Закону ЕС об ИИ, этот стандарт признает, что системы ИИ несут уникальные риски — включая «отравление» данных, обфускацию моделей и косвенную инъекцию подсказок — которые часто упускаются из виду при использовании традиционных методов обеспечения безопасности программного обеспечения. Он применяется к глубоким нейронным сетям, генеративному ИИ и базовым системам прогнозирования, явно исключая только те, которые используются исключительно для академических исследований.

Стандарт ETSI определяет цепочку ответственности за безопасность ИИ

Одной из постоянных проблем при внедрении ИИ в предприятиях является распределение ответственности за риски. Стандарт ETSI решает эту проблему, выделяя три основные технические роли: разработчики, системные операторы и хранители данных.

Во многих организациях эти границы становятся неясными. Например, компания, предоставляющая финансовые услуги, которая настраивает модель с открытым исходным кодом для обнаружения мошенничества, квалифицируется как разработчик и как системный оператор. Эта двойная роль налагает строгие обязательства: компания должна обеспечить безопасность среды развертывания, одновременно документируя происхождение обучающих данных и проводя аудит проектирования модели.

Явное включение «хранителей данных» в качестве отдельной группы заинтересованных сторон напрямую затрагивает директоров по данным и аналитике (CDAO). Эти специалисты управляют разрешениями на доступ к данным и их целостностью — эта роль теперь сопряжена с четкими обязательствами в области безопасности. Хранители должны проверять, соответствует ли предполагаемое использование системы степени конфиденциальности ее обучающих данных, тем самым эффективно встраивая «стража безопасности» в процессы управления данными.

Стандарт ETSI по ИИ подчеркивает, что безопасность не должна быть второстепенным фактором, добавляемым только на этапе развертывания. На этапе проектирования организации должны проводить моделирование угроз с учетом атак, характерных для ИИ, таких как вывод о принадлежности и обфускация моделей.

Одно из требований предписывает разработчикам ограничивать функциональность, чтобы минимизировать поверхность атаки. Например, если система использует мультимодальную модель, но обрабатывает только текст, неиспользуемые модальности — такие как обработка изображений или аудио — становятся рисками, которые необходимо снижать. Это заставляет технических руководителей переосмыслить распространенную практику развертывания больших универсальных базовых моделей, когда достаточно было бы меньшей, более специализированной модели.

Стандарт также предписывает строгое управление активами. Разработчики и системные операторы должны вести подробный учет ресурсов, включая взаимозависимости и связность. Это облегчает обнаружение «теневого ИИ» — ИТ-руководители не могут защитить модели, о которых они не знают. Кроме того, стандарт требует наличия планов восстановления после сбоев, специально разработанных для атак на ИИ, что гарантирует возможность восстановления «известного исправного состояния» в случае компрометации модели.

Безопасность цепочки поставок представляет собой прямую проблему для организаций, которые зависят от сторонних поставщиков или репозиториев с открытым исходным кодом. Согласно стандарту ETSI, если системный оператор решает использовать плохо документированные модели или компоненты ИИ, он должен обосновать этот выбор и задокументировать сопутствующие риски безопасности.

На практике отделы закупок больше не могут принимать решения типа «черный ящик». Разработчики должны предоставлять криптографические хеши компонентов модели для проверки их подлинности. Когда обучающие данные получаются из открытых источников — что характерно для крупных языковых моделей — разработчики должны фиксировать URL-адрес источника и временную метку получения. Этот аудиторский след помогает при расследовании инцидентов, особенно при определении того, подвергалась ли модель заражению данных во время обучения.

Предприятия, предоставляющие API внешним клиентам, должны внедрять меры контроля для противодействия атакам, специфичным для ИИ, такие как ограничение скорости, чтобы не дать злоумышленникам провести обратную разработку модели или перегрузить системы защиты с целью внедрения зараженных данных.

Этот подход, основанный на жизненном цикле, продолжается и на этапе обслуживания, где стандарт рассматривает крупные обновления — такие как переобучение на новых данных — как развертывание новой версии. В соответствии со стандартом ETSI AI такие обновления требуют проведения новых тестов и оценок безопасности.

Непрерывный мониторинг также систематизирован. Операторы систем должны анализировать журналы не только для обеспечения бесперебойной работы, но и для выявления «дрейфа данных» или постепенных изменений в поведении, которые могут сигнализировать о нарушении безопасности. Это превращает мониторинг ИИ из показателя производительности в функцию безопасности.

Стандарт также охватывает фазу «окончания срока службы». Когда модель выводится из эксплуатации или передается, организации должны привлекать хранителей данных для обеспечения безопасной утилизации данных и деталей конфигурации. Это требование предотвращает утечку конфиденциальной интеллектуальной собственности или обучающих данных через выброшенное оборудование или забытые облачные инстансы.

Контроль со стороны руководства и обязанности по управлению

Соблюдение стандарта ETSI EN 304 223 требует пересмотра текущих программ обучения по кибербезопасности. Стандарт требует обучения с учетом конкретных ролей, обеспечивая понимание разработчиками принципов безопасного программирования для ИИ, в то время как обычные сотрудники должны оставаться бдительными в отношении угроз, таких как социальная инженерия, использующая результаты работы ИИ.

«Стандарт ETSI EN 304 223 знаменует собой важную веху в создании общей, прочной основы для безопасности систем ИИ», — сказал Скотт Кадзоу (Scott Cadzow), председатель Технического комитета ETSI по обеспечению безопасности искусственного интеллекта.

«По мере того как ИИ все больше внедряется в критически важные услуги и инфраструктуру, невозможно переоценить значение четких и практических рекомендаций, учитывающих как сложность этих технологий, так и реалии их внедрения. Работа над этой концепцией основана на широком сотрудничестве, позволяющем организациям доверять системам ИИ, которые являются отказоустойчивыми, надежными и безопасными по своему дизайну».

Принятие базовых принципов, изложенных в стандарте ETSI по безопасности ИИ, создает основу для более безопасных инноваций. Благодаря документированным аудиторским следам, четко определенным ролям и прозрачности цепочки поставок организации могут снизить риски внедрения ИИ, одновременно создавая обоснованную позицию для будущих регуляторных проверок.

В готовящемся техническом отчете (ETSI TR 104 159) эти принципы будут применены конкретно к генеративному ИИ, что позволит решать такие проблемы, как дипфейки и дезинформация.

Читайте также: Аллистер Фрост о преодолении опасений сотрудников для успешной интеграции ИИ

Интересуют мнения экспертов в области ИИ и больших данных? Посетите выставку AI & Big Data Expo в Амстердаме, Калифорнии и Лондоне. Это комплексное мероприятие, являющееся частью TechEx, проходит одновременно с другими ведущими технологическими конференциями. Нажмите здесь для получения подробной информации.

Новости об ИИ предоставляются TechForge Media. Узнайте о других предстоящих мероприятиях и вебинарах по корпоративным технологиям здесь.