OpenAI усиливает защиту ChatGPT от атак с использованием поддельных запросов
Компания OpenAI представила две новые расширенные функции безопасности для ChatGPT, призванные противостоять растущей угрозе атак с внедрением поддельных запросов (prompt injection), которые возникают при взаимодействии систем искусственного интеллекта с веб-сайтами и внешними приложениями. Такие атаки позволяют злоумышленникам манипулировать ИИ с целью совершения вредоносных действий или раскрытия конфиденциальных данных. Обе новые функции усиливают существующие средства защиты платформы, включая среду «песочницы», систему предотвращения утечки данных по URL-адресам и другие многоуровневые протоколы безопасности.

Первая функция — это «Режим блокировки» (Lockdown Mode), дополнительная расширенная настройка, предназначенная скорее для пользователей с жесткими требованиями к безопасности, чем для обычного пользователя. Она значительно снижает риск утечки данных за счет введения строгого контроля над тем, как ChatGPT взаимодействует с внешними системами. Этот режим проактивно отключает или ограничивает инструменты, которые являются потенциальными векторами атак. Например, функция просмотра веб-страниц будет обращаться только к кэшированному контенту, а функции без надежных гарантий безопасности будут полностью отключены.
В настоящее время этот режим доступен для версий ChatGPT Enterprise, Education, Healthcare и Teacher. Администраторы могут включить его, создав определенные роли в настройках панели управления, где они также могут точно определить, какие внешние приложения и действия разрешены при активном режиме блокировки. OpenAI планирует сделать этот режим доступным для обычных пользователей в ближайшие месяцы. Кроме того, платформа Compliance API Logs помогает администраторам проводить нормативные аудиты использования приложений и практик обмена данными.
Вторая мера заключается в последовательной маркировке функций повышенного риска в ChatGPT, ChatGPT Atlas и Codex меткой **«Повышенный риск»**, что стандартизирует способ информирования пользователей о потенциальных угрозах.
OpenAI пояснила, что определенные возможности, связанные с подключением к Интернету, хотя и повышают полезность ИИ, все же представляют риски, которые не полностью устраняются существующими отраслевыми мерами безопасности. Эта метка обеспечивает четкое понимание этих рисков, позволяя пользователям принимать обоснованные решения о том, использовать ли эти функции, особенно в ситуациях, связанных с конфиденциальной информацией. Например, когда разработчики включают доступ к Интернету для Codex, на интерфейсе появляется метка с подробным описанием связанных с этим изменений, потенциальных опасностей, подходящих сценариев использования и рекомендаций по снижению риска.
Связанная статья
Не могли бы вы указать название статьи для переработки?
Раньше для получения профессионального портрета приходилось нанимать фотографа, арендовать студию и выделить на это не менее часа своего времени. Сегодня все больше платформ на базе искусственного инт
ElevenLabs объявила о привлечении в качестве новых инвесторов компаний BlackRock, Джейми Фокса и Евы Лонгории
Компания ElevenLabs, занимающаяся разработкой голосовых ИИ-технологий, раскрыла имена дополнительных инвесторов, участвовавших в раунде финансирования серии D на сумму 500 млн долларов, о котором перв
Генеральный директор OpenAI Альтман раскритиковал Anthropic за маркетинговые приемы, продиктованные паникой
Продолжающийся публичный спор между лидерами в области искусственного интеллекта — компаниями OpenAI и Anthropic — обострился. Сэм Альтман, генеральный директор OpenAI, недавно в ходе подкаста подверг
Рекомендации по связанным специальным темам
Комментарии (0)
Компания OpenAI представила две новые расширенные функции безопасности для ChatGPT, призванные противостоять растущей угрозе атак с внедрением поддельных запросов (prompt injection), которые возникают при взаимодействии систем искусственного интеллекта с веб-сайтами и внешними приложениями. Такие атаки позволяют злоумышленникам манипулировать ИИ с целью совершения вредоносных действий или раскрытия конфиденциальных данных. Обе новые функции усиливают существующие средства защиты платформы, включая среду «песочницы», систему предотвращения утечки данных по URL-адресам и другие многоуровневые протоколы безопасности.

Первая функция — это «Режим блокировки» (Lockdown Mode), дополнительная расширенная настройка, предназначенная скорее для пользователей с жесткими требованиями к безопасности, чем для обычного пользователя. Она значительно снижает риск утечки данных за счет введения строгого контроля над тем, как ChatGPT взаимодействует с внешними системами. Этот режим проактивно отключает или ограничивает инструменты, которые являются потенциальными векторами атак. Например, функция просмотра веб-страниц будет обращаться только к кэшированному контенту, а функции без надежных гарантий безопасности будут полностью отключены.
В настоящее время этот режим доступен для версий ChatGPT Enterprise, Education, Healthcare и Teacher. Администраторы могут включить его, создав определенные роли в настройках панели управления, где они также могут точно определить, какие внешние приложения и действия разрешены при активном режиме блокировки. OpenAI планирует сделать этот режим доступным для обычных пользователей в ближайшие месяцы. Кроме того, платформа Compliance API Logs помогает администраторам проводить нормативные аудиты использования приложений и практик обмена данными.
Вторая мера заключается в последовательной маркировке функций повышенного риска в ChatGPT, ChatGPT Atlas и Codex меткой **«Повышенный риск»**, что стандартизирует способ информирования пользователей о потенциальных угрозах.
OpenAI пояснила, что определенные возможности, связанные с подключением к Интернету, хотя и повышают полезность ИИ, все же представляют риски, которые не полностью устраняются существующими отраслевыми мерами безопасности. Эта метка обеспечивает четкое понимание этих рисков, позволяя пользователям принимать обоснованные решения о том, использовать ли эти функции, особенно в ситуациях, связанных с конфиденциальной информацией. Например, когда разработчики включают доступ к Интернету для Codex, на интерфейсе появляется метка с подробным описанием связанных с этим изменений, потенциальных опасностей, подходящих сценариев использования и рекомендаций по снижению риска.
Не могли бы вы указать название статьи для переработки?
Раньше для получения профессионального портрета приходилось нанимать фотографа, арендовать студию и выделить на это не менее часа своего времени. Сегодня все больше платформ на базе искусственного инт
ElevenLabs объявила о привлечении в качестве новых инвесторов компаний BlackRock, Джейми Фокса и Евы Лонгории
Компания ElevenLabs, занимающаяся разработкой голосовых ИИ-технологий, раскрыла имена дополнительных инвесторов, участвовавших в раунде финансирования серии D на сумму 500 млн долларов, о котором перв
Генеральный директор OpenAI Альтман раскритиковал Anthropic за маркетинговые приемы, продиктованные паникой
Продолжающийся публичный спор между лидерами в области искусственного интеллекта — компаниями OpenAI и Anthropic — обострился. Сэм Альтман, генеральный директор OpenAI, недавно в ходе подкаста подверг





Дом






