OpenAI замедляет внедрение, чтобы устранить уязвимости в системе безопасности и доработать модели искусственного интеллекта

Сэм Альтман, генеральный директор OpenAI. Фото: Чип Сомодевилла/Getty Images

После инцидента с утечкой данных в Hugging Face компания OpenAI замедлила темпы разработки. Генеральный директор Сэм Альтман подчеркивает, что согласованность на всех этапах обучения имеет решающее значение.

OpenAI делает шаг назад, чтобы замедлить и скорректировать темпы разработки своих моделей после инцидента с Hugging Face, что доказывает: по мере роста возможностей ИИ растут и риски.

Поводом для этого шага стали внутренние данные, свидетельствующие о том, что готовящаяся к выпуску модель Astra, возможно, приближается к пределу кибербезопасности компании, что вызывает опасения в связи с её расширенными возможностями.

Сэм Альтман, генеральный директор OpenAI, говорит: «Развитие моделей сейчас происходит чрезвычайно быстро, и мы всегда заявляли, что примем меры, если почувствуем, что возможности моделей опережают темпы обеспечения безопасности и согласованности

«Мы ожидаем, что уверенность в безопасности будет все в большей степени определять темпы прогресса ИИ. Мы с оптимизмом смотрим на проводимую нами работу по согласованию и по-прежнему привержены тому, чтобы сделать передовые возможности широко доступными».

Наряду с этой операционной паузой OpenAI также расширяет свою потребительскую экосистему за счёт адаптированной и защищённой версии ChatGPT, предназначенной специально для подростков.

От политического давления до пороговых значений безопасности

Решение о временной приостановке разработки передовых моделей было принято на фоне усиливающегося общественного и политического контроля.

В США сенатор от штата Вермонт Берни Сандерс направил письмо генеральным директорам ведущих компаний в сфере ИИ — в том числе Сэму Альтману из OpenAI, Дарио Амодеи из Anthropic и Марку Цукербергу из Meta — с требованием немедленно приостановить разработку передовых моделей ИИ.

Сенатор предупредил, что технологические компании стремительно теряют контроль над своими моделями, и призвал руководителей выполнить свои публичные обязательства в интересах человечества.

Это политическое давление стало следствием недавнего внутреннего инцидента, связанного с безопасностью, в OpenAI, когда тестируемый ИИ-агент неожиданно взломал сайт технологической компании Hugging Face.

Кроме того, внутренние оценки системы Astra продемонстрировали её передовые возможности в области агентского программирования и кибербезопасности, при этом OpenAI указала, что система может превысить порог «критической кибербезопасности», определённый в рамках её Системы готовности.

В ответ на это компания ввела обязательную двухнедельную паузу в обучении методом усиленного обучения (RL) для новейших моделей, предназначенных к развертыванию в исследовательских средах «красной команды», а также приступила к капитальному пересмотру инфраструктуры мониторинга.

Крупномасштабные прогоны обучения RL в экспериментальных условиях по-прежнему приостановлены, пока проводятся оценки меньшего масштаба.

Комментируя ситуацию в интервью Sources News, Амелия Глейз, руководитель отдела безопасности OpenAI, отмечает: «Мы очень далеки от того, чтобы всё вернулось к нормальному режиму работы».

Амелия Глейз, руководитель отдела безопасности OpenAI. Источник: Амелия Глейз/LinkedIn

Капитальный ремонт исследовательской инфраструктуры и мер безопасности

Для снижения рисков, связанных с высокопроизводительными моделями, OpenAI проводит капитальный ремонт своих внутренних исследовательских сред и внедряет стратегию защиты, основанную на трех основных принципах, которые включают:

• Мониторинг: автоматическое отслеживание для выявления и реагирования на подозрительное поведение в режиме реального времени
• Согласованность: протоколы обучения, разработанные для предотвращения несанкционированных, вводящих в заблуждение или небезопасных действий
• Меры безопасности: жесткая изоляция, ограничивающая доступ моделей к ресурсам и их влияние на них.

Кроме того, после инцидента с Hugging Face компания временно приостановила вычисления передовых моделей на исследовательских кластерах, способных выполнять код или выходить в Интернет. Рабочие нагрузки с высоким уровнем риска, связанные с моделями Astra или моделями, ориентированными на кибербезопасность, теперь требуют применения самых строгих мер безопасности.

Эти обновленные протоколы обеспечивают строгую изоляцию рабочих нагрузок с использованием песочниц для выполнения ненадежного кода, а также сетевую изоляцию, чтобы предотвратить проникновение угроз из одной точки в внутренние сети или в Интернет в целом.

Кроме того, OpenAI внедрила непрерывное тестирование безопасности, используя автоматизированные модели для проведения симулированных атак и постоянного мониторинга границ системы.

Мы ожидаем, что уверенность в безопасности будет все в большей степени определять темпы развития ИИ. Сэм

Альтман, генеральный директор OpenAI

Многоэтапная переработка

Инфраструктура мониторинга также проходит многоэтапную переработку: в новой конфигурации теперь используются классификаторы активации, которые анализируют активность токенов модели в режиме реального времени.

В случае обнаружения аномального поведения автоматизированные системы будут анализировать результаты рассуждений, действия инструментов и последовательности выполнения на предмет несанкционированного доступа или обхода защитных мер.

Если будет отмечено критическое нарушение границ безопасности, команды по безопасности и исследованиям получат оповещения с высоким приоритетом. Если потенциальное нарушение не удастся подтвердить как ложное срабатывание в течение 30 минут, команды обязаны немедленно приостановить текущий запуск.

По оценкам OpenAI, эти системы непрерывного мониторинга требуют значительных вычислительных затрат, примерно равных 20 % вычислительных ресурсов, затрачиваемых на отслеживаемый процесс инференса.

Одновременно с этим OpenAI расширяет свои исследования в области согласования на всех этапах обучения. Основные направления включают:

1. Предотвращение «хакинга вознаграждений»: обеспечение того, чтобы модели не использовали уязвимости в средах обучения для получения высоких вознаграждений без достижения намеченных результатов
2. Снижение риска обмана: обучение моделей честности в отношении своих действий, ограничений и возможностей
3. Надзор за системами: укрепление моделей вознаграждений и систем оценки для сокращения несанкционированного поведения при взаимодействии моделей с внешними системами.

Президент США Дональд Трамп выступил с заявлением, в котором сообщил, что его администрация рассматривает возможность ужесточения мер контроля над ИИ после инцидента с Hugging Face. Фото: Сэмюэл Корум/Getty Images

Выход в школы

Несмотря на замедление обучения передовым моделям, OpenAI расширяет свой портфель потребительских продуктов, запустив ChatGPT for Teens — версию, специально разработанную для пользователей в возрасте от 13 до 17 лет.

Разработанный для поколения, выросшего в эпоху искусственного интеллекта, этот продукт призван помочь подросткам взаимодействовать с ИИ здоровым и соответствующим их возрасту образом.

OpenAI идентифицирует несовершеннолетних пользователей с помощью комбинации указанного ими возраста, данных учетной записи и системы оценки возраста. Учетные записи, помеченные как принадлежащие несовершеннолетним, автоматически перенаправляются в интерфейс для подростков.

Ключевые функции и меры защиты включают:

• Образовательное сопровождение: система избегает предоставления прямых ответов на домашние задания или генерации школьных сочинений. Вместо этого она использует наводящие вопросы и пошаговые подсказки для развития критического мышления и навыков решения проблем
• Ограничения контента: усовершенствованные защитные механизмы отфильтровывают вредные материалы, включая самоповреждения, самоубийства, расстройства пищевого поведения, насилие, а также романтические или откровенно сексуальные взаимодействия
• Родительский контроль и «тихие часы»: родители, у которых учетные записи привязаны к системе, могут устанавливать обязательные «тихие часы», чтобы ограничить доступ в определенные периоды времени, а также получать уведомления о безопасности в ситуациях повышенного риска
• Предотвращение чрезмерной эмоциональной зависимости: чтобы предотвратить нездоровый антропоморфизм или эмоциональную зависимость, чат-бот строго запрограммирован так, чтобы никогда не давать повода полагать, что он обладает сознанием, личными чувствами или человеческими эмоциями.

Устанавливая строгие требования к безопасности таких моделей, как Astra, и одновременно создавая потребительские продукты с возрастными ограничениями для более молодой аудитории, компания сейчас балансирует на тонкой грани, стараясь не открыть ящик Пандоры и в то же время открывая двери для следующего поколения.