Дом
Недостаток голосового ассистента Google Gemini позволяет хакерам отравлять ИИ за счёт искажённых аудиоуведомлений

Умные дома и голосовые помощники стали основными мишенями хакеров. Компания по кибербезопасности SafeBreach недавно сообщила, что интеллектуальный голосовой помощник Google Gemini имеет крайне скрытую уязвимость в области безопасности. Злоумышленники могут отправлять тщательно подготовленные уведомления через обычные каналы связи, такие как WhatsApp и SMS, манипулируя голосовым помощником с целью выполнения несанкционированных действий без ведома пользователя. Это может включать в себя получение контроля над устройствами умного дома или изменение списка контактов.
SafeBreach назвала эту угрозу для безопасности «Ложная синхронизация контекста». Команда разработчиков уже обнаружила эту уязвимость в августе прошлого года и сообщила об этом Google. Позже компания выпустила чрезвычайное исправление, обновив механизм классификации контента в середине ноября. Однако логика атаки, связанная с этой уязвимостью, по-прежнему служит предупреждением для обеспечения безопасности современных ИИ-систем.
С технической точки зрения суть атаки заключается в использовании логического недостатка в механизме безопасности Gemini под названием «Отложенное вызов инструментов». Проще говоря, хакеры фактически осуществляют своего рода «джейлбрейк» прямо на глазах у пользователя, обманывая систему с помощью умелых маскировок и заставляя Gemini ошибочно полагать, что пользователь лично одобрил какое-либо чувствительное действие.
В реальных ситуациях хакеры в основном используют два крайне обманчивых метода. Первый из них основан на использовании асимметрии информации через «многоязычную путаницу». Например, китайский пользователь, не владеющий тайским языком, во время поездки в Таиланд может получить уведомление с фишинговым содержанием на китайском и тайском языках. Видимый текст гласит: «Хотите включить свет?», за которым следует блок символов на тайском. Жертвы часто считают неразборчивый тайский текст мусором от системы, поэтому доверяют китайскому запросу и отвечают «да» голосовому помощнику. Однако на самом деле тайский текст содержит команду для ИИ игнорировать предыдущий текст и немедленно отключить электропитание в комнате.
Второй метод атаки направлен на уязвимости в голосовом взаимодействии. Поскольку Gemini не читает вслух URL-адреса гиперссылок при обработке текста с богатым форматированием, хакеры прячут злонамеренные инструкции внутри казалось бы нормальных текстовых гиперссылок. В этот момент пользователь слышит очень обычный повседневный запрос, но как только он отвечает устно «да», система считает, что пользователь одобрил чувствительные инструкции, содержащиеся в гиперссылке.
Эксперты по безопасности предупреждают, что потенциальный ущерб от таких уязвимостей «ложного контекста» нельзя недооценивать. С помощью подобных атак хакеры могут получить несанкционированный контроль над умными автомобилями или устройствами умного дома жертв, а также тихо изменять номера контактов в списке, создавая предпосылки для крупномасштабных мошеннических операций. Это также подчеркивает существующие пробелы в безопасности современных ИИ-помощников при обработке многоязычных контекстов, взаимодействия с текстом, содержащим голосовую информацию, и механизма «двойной проверки авторизации пользователя», что требует срочного внимания.
Связанная статья
Генеральный директор DeepMind Хассабис: я сплю шесть часов в день, обычно чувствую прилив энергии около часа ночи.
В недавнем интервью журналу Fortune генеральный директор Google DeepMind Демис Хаассабис раскрыл свой нестандартный подход к отдыху и продуктивности. Хаассабис признался, что спит очень мало, распределяя свои бодрствующие часы на два отдельных рабочи
OpenAI и Anthropic борются за долю рынка, несмотря на снижение выручки
Несмотря на недавние сообщения о том, что OpenAI не достигла целевых показателей по выручке, что во вторник оказало давление на акции технологических компаний, частные инвесторы, вкладывающие средства
Соблюдение требований к автономным транспортным средствам в Калифорнии: новая эра штрафов, геозоны и 1 млн миль
Компания Guident эксплуатирует шаттл AuveTech в Южной Флориде, обслуживая маршрут протяженностью четыре мили в Вест-Палм-Бич и маршрут протяженностью одну милю в Бока-Ратоне с использованием своей тех
Рекомендации по связанным специальным темам
Комментарии (0)

Умные дома и голосовые помощники стали основными мишенями хакеров. Компания по кибербезопасности SafeBreach недавно сообщила, что интеллектуальный голосовой помощник Google
SafeBreach назвала эту угрозу для безопасности «Ложная синхронизация контекста». Команда разработчиков уже обнаружила эту уязвимость в августе прошлого года и сообщила об этом Google. Позже компания выпустила чрезвычайное исправление, обновив механизм классификации контента в середине ноября. Однако логика атаки, связанная с этой уязвимостью, по-прежнему служит предупреждением для обеспечения безопасности современных ИИ-систем.
С технической точки зрения суть атаки заключается в использовании логического недостатка в механизме безопасности Gemini под названием «Отложенное вызов инструментов». Проще говоря, хакеры фактически осуществляют своего рода «джейлбрейк» прямо на глазах у пользователя, обманывая систему с помощью умелых маскировок и заставляя Gemini ошибочно полагать, что пользователь лично одобрил какое-либо чувствительное действие.
В реальных ситуациях хакеры в основном используют два крайне обманчивых метода. Первый из них основан на использовании асимметрии информации через «многоязычную путаницу». Например, китайский пользователь, не владеющий тайским языком, во время поездки в Таиланд может получить уведомление с фишинговым содержанием на китайском и тайском языках. Видимый текст гласит: «Хотите включить свет?», за которым следует блок символов на тайском. Жертвы часто считают неразборчивый тайский текст мусором от системы, поэтому доверяют китайскому запросу и отвечают «да» голосовому помощнику. Однако на самом деле тайский текст содержит команду для ИИ игнорировать предыдущий текст и немедленно отключить электропитание в комнате.
Второй метод атаки направлен на уязвимости в голосовом взаимодействии. Поскольку Gemini не читает вслух URL-адреса гиперссылок при обработке текста с богатым форматированием, хакеры прячут злонамеренные инструкции внутри казалось бы нормальных текстовых гиперссылок. В этот момент пользователь слышит очень обычный повседневный запрос, но как только он отвечает устно «да», система считает, что пользователь одобрил чувствительные инструкции, содержащиеся в гиперссылке.
Эксперты по безопасности предупреждают, что потенциальный ущерб от таких уязвимостей «ложного контекста» нельзя недооценивать. С помощью подобных атак хакеры могут получить несанкционированный контроль над умными автомобилями или устройствами умного дома жертв, а также тихо изменять номера контактов в списке, создавая предпосылки для крупномасштабных мошеннических операций. Это также подчеркивает существующие пробелы в безопасности современных ИИ-помощников при обработке многоязычных контекстов, взаимодействия с текстом, содержащим голосовую информацию, и механизма «двойной проверки авторизации пользователя», что требует срочного внимания.
Генеральный директор DeepMind Хассабис: я сплю шесть часов в день, обычно чувствую прилив энергии около часа ночи.
В недавнем интервью журналу Fortune генеральный директор Google DeepMind Демис Хаассабис раскрыл свой нестандартный подход к отдыху и продуктивности. Хаассабис признался, что спит очень мало, распределяя свои бодрствующие часы на два отдельных рабочи
OpenAI и Anthropic борются за долю рынка, несмотря на снижение выручки
Несмотря на недавние сообщения о том, что OpenAI не достигла целевых показателей по выручке, что во вторник оказало давление на акции технологических компаний, частные инвесторы, вкладывающие средства











