OpenAI усиливает защиту ChatGPT от атак с использованием поддельных запросов
Компания OpenAI представила две новые расширенные функции безопасности для ChatGPT, призванные противостоять растущей угрозе атак с внедрением поддельных запросов (prompt injection), которые возникают при взаимодействии систем искусственного интеллекта с веб-сайтами и внешними приложениями. Такие атаки позволяют злоумышленникам манипулировать ИИ с целью совершения вредоносных действий или раскрытия конфиденциальных данных. Обе новые функции усиливают существующие средства защиты платформы, включая среду «песочницы», систему предотвращения утечки данных по URL-адресам и другие многоуровневые протоколы безопасности.

Первая функция — это «Режим блокировки» (Lockdown Mode), дополнительная расширенная настройка, предназначенная скорее для пользователей с жесткими требованиями к безопасности, чем для обычного пользователя. Она значительно снижает риск утечки данных за счет введения строгого контроля над тем, как ChatGPT взаимодействует с внешними системами. Этот режим проактивно отключает или ограничивает инструменты, которые являются потенциальными векторами атак. Например, функция просмотра веб-страниц будет обращаться только к кэшированному контенту, а функции без надежных гарантий безопасности будут полностью отключены.
В настоящее время этот режим доступен для версий ChatGPT Enterprise, Education, Healthcare и Teacher. Администраторы могут включить его, создав определенные роли в настройках панели управления, где они также могут точно определить, какие внешние приложения и действия разрешены при активном режиме блокировки. OpenAI планирует сделать этот режим доступным для обычных пользователей в ближайшие месяцы. Кроме того, платформа Compliance API Logs помогает администраторам проводить нормативные аудиты использования приложений и практик обмена данными.
Вторая мера заключается в последовательной маркировке функций повышенного риска в ChatGPT, ChatGPT Atlas и Codex меткой **«Повышенный риск»**, что стандартизирует способ информирования пользователей о потенциальных угрозах.
OpenAI пояснила, что определенные возможности, связанные с подключением к Интернету, хотя и повышают полезность ИИ, все же представляют риски, которые не полностью устраняются существующими отраслевыми мерами безопасности. Эта метка обеспечивает четкое понимание этих рисков, позволяя пользователям принимать обоснованные решения о том, использовать ли эти функции, особенно в ситуациях, связанных с конфиденциальной информацией. Например, когда разработчики включают доступ к Интернету для Codex, на интерфейсе появляется метка с подробным описанием связанных с этим изменений, потенциальных опасностей, подходящих сценариев использования и рекомендаций по снижению риска.
Связанная статья
Умные очки Apple могут быть представлены на WWDC27 с акцентом на защиту конфиденциальности
Журналист Bloomberg Марк Гурман сообщает, что умные очки Apple под кодовым названием N50 должны дебютировать на WWDC27 в июне 2027 года, а их розничные продажи ожидаются осенью 2027 года. Изначально выпуск устройства планировался на конец этого года
Внутри раскрыты подробности о Gemini следующего поколения: ограниченные вычислительные мощности, внутренние команды не сошлись в вопросах приоритетов разработки и распределения ресурсов
В отчётах указывается, что запуск долгожданной модели Gemini следующего поколения от Google был перенесён. Внутренние разногласия по вопросам приоритетов разработки и распределения ресурсов, в сочетании с ограниченной вычислительной мощностью и сложн
OpenAI отклоняет опасения по поводу замедления роста, заявляя о ускорении работы нескольких бизнес-подразделений
В ответ на внешнюю критику, связанную с замедлением роста продаж и невыполнением внутренних плановых показателей, лидер в области искусственного интеллекта компания OpenAI опубликовала во вторник, 28 апреля, уверенное заявление. Компания уточнила, чт
Рекомендации по связанным специальным темам
Комментарии (0)
Компания OpenAI представила две новые расширенные функции безопасности для ChatGPT, призванные противостоять растущей угрозе атак с внедрением поддельных запросов (prompt injection), которые возникают при взаимодействии систем искусственного интеллекта с веб-сайтами и внешними приложениями. Такие атаки позволяют злоумышленникам манипулировать ИИ с целью совершения вредоносных действий или раскрытия конфиденциальных данных. Обе новые функции усиливают существующие средства защиты платформы, включая среду «песочницы», систему предотвращения утечки данных по URL-адресам и другие многоуровневые протоколы безопасности.

Первая функция — это «Режим блокировки» (Lockdown Mode), дополнительная расширенная настройка, предназначенная скорее для пользователей с жесткими требованиями к безопасности, чем для обычного пользователя. Она значительно снижает риск утечки данных за счет введения строгого контроля над тем, как ChatGPT взаимодействует с внешними системами. Этот режим проактивно отключает или ограничивает инструменты, которые являются потенциальными векторами атак. Например, функция просмотра веб-страниц будет обращаться только к кэшированному контенту, а функции без надежных гарантий безопасности будут полностью отключены.
В настоящее время этот режим доступен для версий ChatGPT Enterprise, Education, Healthcare и Teacher. Администраторы могут включить его, создав определенные роли в настройках панели управления, где они также могут точно определить, какие внешние приложения и действия разрешены при активном режиме блокировки. OpenAI планирует сделать этот режим доступным для обычных пользователей в ближайшие месяцы. Кроме того, платформа Compliance API Logs помогает администраторам проводить нормативные аудиты использования приложений и практик обмена данными.
Вторая мера заключается в последовательной маркировке функций повышенного риска в ChatGPT, ChatGPT Atlas и Codex меткой **«Повышенный риск»**, что стандартизирует способ информирования пользователей о потенциальных угрозах.
OpenAI пояснила, что определенные возможности, связанные с подключением к Интернету, хотя и повышают полезность ИИ, все же представляют риски, которые не полностью устраняются существующими отраслевыми мерами безопасности. Эта метка обеспечивает четкое понимание этих рисков, позволяя пользователям принимать обоснованные решения о том, использовать ли эти функции, особенно в ситуациях, связанных с конфиденциальной информацией. Например, когда разработчики включают доступ к Интернету для Codex, на интерфейсе появляется метка с подробным описанием связанных с этим изменений, потенциальных опасностей, подходящих сценариев использования и рекомендаций по снижению риска.
Умные очки Apple могут быть представлены на WWDC27 с акцентом на защиту конфиденциальности
Журналист Bloomberg Марк Гурман сообщает, что умные очки Apple под кодовым названием N50 должны дебютировать на WWDC27 в июне 2027 года, а их розничные продажи ожидаются осенью 2027 года. Изначально выпуск устройства планировался на конец этого года
Внутри раскрыты подробности о Gemini следующего поколения: ограниченные вычислительные мощности, внутренние команды не сошлись в вопросах приоритетов разработки и распределения ресурсов
В отчётах указывается, что запуск долгожданной модели Gemini следующего поколения от Google был перенесён. Внутренние разногласия по вопросам приоритетов разработки и распределения ресурсов, в сочетании с ограниченной вычислительной мощностью и сложн
OpenAI отклоняет опасения по поводу замедления роста, заявляя о ускорении работы нескольких бизнес-подразделений
В ответ на внешнюю критику, связанную с замедлением роста продаж и невыполнением внутренних плановых показателей, лидер в области искусственного интеллекта компания OpenAI опубликовала во вторник, 28 апреля, уверенное заявление. Компания уточнила, чт





Дом






