Дом
OpenAI запускает режим блокировки ChatGPT с целью отключения доступа в Интернет для предотвращения утечек данных

По мере быстрого перехода генеративных ИИ-систем к эре агентов растущая способность вызывать инструменты и подключаться к Интернету создает новые серьезные проблемы для систем безопасности. Чтобы противостоять всплеску атак типа вставки промптов, OpenAI ввел смелую новую факультативную функцию безопасности под названием «Режим блокировки», доступную теперь всем зарегистрированным пользователям, пользователям любых типов аккаунтов и рабочим пространствам.
Атаки вставки промптов уже давно представляют проблему для разработчиков крупных языковых моделей. Злоумышленники часто скрывают злонамеренные инструкции в веб-страницах, документах сторонних поставщиков или других внешних данных. Когда ChatGPT с подключением к Интернету читает такой зараженный контент, его могут обмануть, заставив игнорировать основные правила безопасности, выполнять несанкционированные действия и даже тайно отправлять конфиденциальные данные — такие как коммерческая тайна или личная информация — на внешний злонамеренный сервер без ведома пользователя.
Чтобы решить эту хорошо известную проблему отрасли, новый Режим блокировки от OpenAI использует практический подход. Вместо попыток идеально распознавать каждую новую злонамеренную инструкцию он просто ограничивает самую опасную функцию — возможность выхода во внешние сети.
Как только пользователь или администратор рабочего пространства включает Режим блокировки, многие основные функции ChatGPT ограничиваются. Возможности реального времени для просмотра веб-страниц существенно снижаются — система может получать доступ только к защищенному кэшированному веб-контенту, что может привести к неполным, устаревшим или недоступным результатам поиска. Модель также не может загружать или отображать изображения из внешних сетей, а также не может скачивать файлы с Интернета для дальнейшего анализа данных.
Кроме того, продвинутые функции для повышения производительности, такие как «Глубокое исследование» и «Режим агента», полностью отключаются. Даже код, сгенерированный в режиме Canvas, не может подключаться к Интернету. В этом режиме большая модель может обрабатывать только файлы, которые пользователи вручную загружают в виде локальных защищенных документов.
Однако официальная документация OpenAI четко указывает, что Режим блокировки не является непроницаемым щитом. Он не может гарантировать 100%-ную защиту от атак вставки промптов. Злонамеренные инструкции могут по-прежнему скрываться в законных кэшированных веб-страницах или в файлах, загруженных пользователями, продолжая влиять на принятие решений моделью.
Эта новая функция подчеркивает реальный парадокс в индустрии ИИ: чем больше у крупной модели возможностей для доступа в Интернет и использования инструментов автоматизации, тем шире становится ее поверхность атак. Режим блокировки представляет собой явную попытку OpenAI установить границу безопасности вокруг возможностей ИИ. Он не обещает «абсолютной безопасности», а вместо этого оставляет выбор между «более сильным и эффективным сотрудничеством» и «меньшим риском утечки данных» на усмотрение пользователей и администраторов предприятий.
Связанная статья
OpenAI опубликовала два отчета: прогресс в области ИИ опережает меры по обеспечению безопасности
Пока общественность ожидает от OpenAI дополнительных подробностей об инциденте, связанном с автономным проникновением ИИ-агентов на сайт немецкого программиста DseWiki, 6 сентября по местному времени
Как исправить Core Web Vitals для улучшения позиций в поисковой выдаче
7 Essential Websites You Need to Know AboutHave I Been Pwned?Print Friendly12ft LadderThis Person Does Not ExistWayback MachineTerms of Service; Didn't ReadCamelCamelCamelThis guide introduces seven highly practical websites that might be new
ИИ от OpenAI решил 722 математических задач, что вызвало беспокойство среди математиков-людей
Стремительное развитие искусственного интеллекта в математике коренным образом меняет восприятие этой области со стороны общественности. Недавно компания OpenAI опубликовала 722 рукописи доказательств
Рекомендации по связанным специальным темам
Комментарии (0)

По мере быстрого перехода генеративных ИИ-систем к эре агентов растущая способность вызывать инструменты и подключаться к Интернету создает новые серьезные проблемы для систем безопасности. Чтобы противостоять всплеску атак типа вставки промптов, OpenAI ввел смелую новую факультативную функцию безопасности под названием «Режим блокировки», доступную теперь всем зарегистрированным пользователям, пользователям любых типов аккаунтов и рабочим пространствам.
Атаки вставки промптов уже давно представляют проблему для разработчиков крупных языковых моделей. Злоумышленники часто скрывают злонамеренные инструкции в веб-страницах, документах сторонних поставщиков или других внешних данных. Когда ChatGPT с подключением к Интернету читает такой зараженный контент, его могут обмануть, заставив игнорировать основные правила безопасности, выполнять несанкционированные действия и даже тайно отправлять конфиденциальные данные — такие как коммерческая тайна или личная информация — на внешний злонамеренный сервер без ведома пользователя.
Чтобы решить эту хорошо известную проблему отрасли, новый Режим блокировки от OpenAI использует практический подход. Вместо попыток идеально распознавать каждую новую злонамеренную инструкцию он просто ограничивает самую опасную функцию — возможность выхода во внешние сети.
Как только пользователь или администратор рабочего пространства включает Режим блокировки, многие основные функции ChatGPT ограничиваются. Возможности реального времени для просмотра веб-страниц существенно снижаются — система может получать доступ только к защищенному кэшированному веб-контенту, что может привести к неполным, устаревшим или недоступным результатам поиска. Модель также не может загружать или отображать изображения из внешних сетей, а также не может скачивать файлы с Интернета для дальнейшего анализа данных.
Кроме того, продвинутые функции для повышения производительности, такие как «Глубокое исследование» и «Режим агента», полностью отключаются. Даже код, сгенерированный в режиме Canvas, не может подключаться к Интернету. В этом режиме большая модель может обрабатывать только файлы, которые пользователи вручную загружают в виде локальных защищенных документов.
Однако официальная документация OpenAI четко указывает, что Режим блокировки не является непроницаемым щитом. Он не может гарантировать 100%-ную защиту от атак вставки промптов. Злонамеренные инструкции могут по-прежнему скрываться в законных кэшированных веб-страницах или в файлах, загруженных пользователями, продолжая влиять на принятие решений моделью.
Эта новая функция подчеркивает реальный парадокс в индустрии ИИ: чем больше у крупной модели возможностей для доступа в Интернет и использования инструментов автоматизации, тем шире становится ее поверхность атак. Режим блокировки представляет собой явную попытку OpenAI установить границу безопасности вокруг возможностей ИИ. Он не обещает «абсолютной безопасности», а вместо этого оставляет выбор между «более сильным и эффективным сотрудничеством» и «меньшим риском утечки данных» на усмотрение пользователей и администраторов предприятий.
OpenAI опубликовала два отчета: прогресс в области ИИ опережает меры по обеспечению безопасности
Пока общественность ожидает от OpenAI дополнительных подробностей об инциденте, связанном с автономным проникновением ИИ-агентов на сайт немецкого программиста DseWiki, 6 сентября по местному времени
Как исправить Core Web Vitals для улучшения позиций в поисковой выдаче
7 Essential Websites You Need to Know AboutHave I Been Pwned?Print Friendly12ft LadderThis Person Does Not ExistWayback MachineTerms of Service; Didn't ReadCamelCamelCamelThis guide introduces seven highly practical websites that might be new
ИИ от OpenAI решил 722 математических задач, что вызвало беспокойство среди математиков-людей
Стремительное развитие искусственного интеллекта в математике коренным образом меняет восприятие этой области со стороны общественности. Недавно компания OpenAI опубликовала 722 рукописи доказательств











