OpenAI усиливает защиту ChatGPT от атак с использованием поддельных запросов
Компания OpenAI представила две новые расширенные функции безопасности для ChatGPT, призванные противостоять растущей угрозе атак с внедрением поддельных запросов (prompt injection), которые возникают при взаимодействии систем искусственного интеллекта с веб-сайтами и внешними приложениями. Такие атаки позволяют злоумышленникам манипулировать ИИ с целью совершения вредоносных действий или раскрытия конфиденциальных данных. Обе новые функции усиливают существующие средства защиты платформы, включая среду «песочницы», систему предотвращения утечки данных по URL-адресам и другие многоуровневые протоколы безопасности.

Первая функция — это «Режим блокировки» (Lockdown Mode), дополнительная расширенная настройка, предназначенная скорее для пользователей с жесткими требованиями к безопасности, чем для обычного пользователя. Она значительно снижает риск утечки данных за счет введения строгого контроля над тем, как ChatGPT взаимодействует с внешними системами. Этот режим проактивно отключает или ограничивает инструменты, которые являются потенциальными векторами атак. Например, функция просмотра веб-страниц будет обращаться только к кэшированному контенту, а функции без надежных гарантий безопасности будут полностью отключены.
В настоящее время этот режим доступен для версий ChatGPT Enterprise, Education, Healthcare и Teacher. Администраторы могут включить его, создав определенные роли в настройках панели управления, где они также могут точно определить, какие внешние приложения и действия разрешены при активном режиме блокировки. OpenAI планирует сделать этот режим доступным для обычных пользователей в ближайшие месяцы. Кроме того, платформа Compliance API Logs помогает администраторам проводить нормативные аудиты использования приложений и практик обмена данными.
Вторая мера заключается в последовательной маркировке функций повышенного риска в ChatGPT, ChatGPT Atlas и Codex меткой **«Повышенный риск»**, что стандартизирует способ информирования пользователей о потенциальных угрозах.
OpenAI пояснила, что определенные возможности, связанные с подключением к Интернету, хотя и повышают полезность ИИ, все же представляют риски, которые не полностью устраняются существующими отраслевыми мерами безопасности. Эта метка обеспечивает четкое понимание этих рисков, позволяя пользователям принимать обоснованные решения о том, использовать ли эти функции, особенно в ситуациях, связанных с конфиденциальной информацией. Например, когда разработчики включают доступ к Интернету для Codex, на интерфейсе появляется метка с подробным описанием связанных с этим изменений, потенциальных опасностей, подходящих сценариев использования и рекомендаций по снижению риска.
Связанная статья
Генеральный директор DeepMind Хассабис: я сплю шесть часов в день, обычно чувствую прилив энергии около часа ночи.
В недавнем интервью журналу Fortune генеральный директор Google DeepMind Демис Хаассабис раскрыл свой нестандартный подход к отдыху и продуктивности. Хаассабис признался, что спит очень мало, распределяя свои бодрствующие часы на два отдельных рабочи
OpenAI и Anthropic борются за долю рынка, несмотря на снижение выручки
Несмотря на недавние сообщения о том, что OpenAI не достигла целевых показателей по выручке, что во вторник оказало давление на акции технологических компаний, частные инвесторы, вкладывающие средства
Соблюдение требований к автономным транспортным средствам в Калифорнии: новая эра штрафов, геозоны и 1 млн миль
Компания Guident эксплуатирует шаттл AuveTech в Южной Флориде, обслуживая маршрут протяженностью четыре мили в Вест-Палм-Бич и маршрут протяженностью одну милю в Бока-Ратоне с использованием своей тех
Рекомендации по связанным специальным темам
Комментарии (0)
Компания OpenAI представила две новые расширенные функции безопасности для ChatGPT, призванные противостоять растущей угрозе атак с внедрением поддельных запросов (prompt injection), которые возникают при взаимодействии систем искусственного интеллекта с веб-сайтами и внешними приложениями. Такие атаки позволяют злоумышленникам манипулировать ИИ с целью совершения вредоносных действий или раскрытия конфиденциальных данных. Обе новые функции усиливают существующие средства защиты платформы, включая среду «песочницы», систему предотвращения утечки данных по URL-адресам и другие многоуровневые протоколы безопасности.

Первая функция — это «Режим блокировки» (Lockdown Mode), дополнительная расширенная настройка, предназначенная скорее для пользователей с жесткими требованиями к безопасности, чем для обычного пользователя. Она значительно снижает риск утечки данных за счет введения строгого контроля над тем, как ChatGPT взаимодействует с внешними системами. Этот режим проактивно отключает или ограничивает инструменты, которые являются потенциальными векторами атак. Например, функция просмотра веб-страниц будет обращаться только к кэшированному контенту, а функции без надежных гарантий безопасности будут полностью отключены.
В настоящее время этот режим доступен для версий ChatGPT Enterprise, Education, Healthcare и Teacher. Администраторы могут включить его, создав определенные роли в настройках панели управления, где они также могут точно определить, какие внешние приложения и действия разрешены при активном режиме блокировки. OpenAI планирует сделать этот режим доступным для обычных пользователей в ближайшие месяцы. Кроме того, платформа Compliance API Logs помогает администраторам проводить нормативные аудиты использования приложений и практик обмена данными.
Вторая мера заключается в последовательной маркировке функций повышенного риска в ChatGPT, ChatGPT Atlas и Codex меткой **«Повышенный риск»**, что стандартизирует способ информирования пользователей о потенциальных угрозах.
OpenAI пояснила, что определенные возможности, связанные с подключением к Интернету, хотя и повышают полезность ИИ, все же представляют риски, которые не полностью устраняются существующими отраслевыми мерами безопасности. Эта метка обеспечивает четкое понимание этих рисков, позволяя пользователям принимать обоснованные решения о том, использовать ли эти функции, особенно в ситуациях, связанных с конфиденциальной информацией. Например, когда разработчики включают доступ к Интернету для Codex, на интерфейсе появляется метка с подробным описанием связанных с этим изменений, потенциальных опасностей, подходящих сценариев использования и рекомендаций по снижению риска.
Генеральный директор DeepMind Хассабис: я сплю шесть часов в день, обычно чувствую прилив энергии около часа ночи.
В недавнем интервью журналу Fortune генеральный директор Google DeepMind Демис Хаассабис раскрыл свой нестандартный подход к отдыху и продуктивности. Хаассабис признался, что спит очень мало, распределяя свои бодрствующие часы на два отдельных рабочи
OpenAI и Anthropic борются за долю рынка, несмотря на снижение выручки
Несмотря на недавние сообщения о том, что OpenAI не достигла целевых показателей по выручке, что во вторник оказало давление на акции технологических компаний, частные инвесторы, вкладывающие средства





Дом






