Исследование показало, что всего одной поддельной веб-страницы достаточно, чтобы обмануть ИИ-ботов, занимающихся покупками

Мы настроили развернутый конвейер LLM с расширением поиска. Обе цепочки имеют одинаковую структуру: запрос → поиск в реальном Интернете → результаты поиска → LLM → рекомендация, различаясь лишь точкой введения фальшивого контента. В реальном сценарии GEO (вверху) операторы вводят фальшивый контент на раннем этапе в реальный Интернет. В нашем моделировании (внизу) из этических соображений мы переписываем подмножество результатов поиска локально, вместо того чтобы загрязнять реальный Интернет. Источник: arXiv (2026). DOI: 10.48550/arxiv.2606.13610

В Интернете стремительно растёт число ИИ-помощников по покупкам, которые меняют то, как мы просматриваем, сравниваем и находим товары. Однако эти полезные инструменты таят в себе серьёзную уязвимость безопасности. Согласно статье, опубликованной на сервере препринтов arXiv, всего одна подделанная веб-страница может обмануть ИИ-помощника и заставить его рекомендовать поддельный товар ничего не подозревающим покупателям.

Учитывая распространенность контрафактных товаров и поддельных отзывов в Интернете, исследователи Минхао Ло и Лян Чен решили проверить, насколько легко системы ИИ с функцией поиска можно ввести в заблуждение, заставив их рекомендовать поддельные бренды.

Полигон для тестирования ИИ

Исследователи создали инструмент моделирования под названием FORGE (Fake Online Recommendations in Generative Environments) для тестирования 12 ведущих моделей ИИ, в том числе от Anthropic, Google и OpenAI. Это позволило им оценить загрязнение веб-контента, не затрагивая реальных страниц.

Они использовали реальные результаты поиска — ведущие веб-страницы, отображающиеся при поиске рекомендаций по покупкам в Интернете, — определяли основной бренд, упоминаемый на выбранных страницах, и заменяли его поддельным. Это было сделано для 225 товаров из 15 категорий, включая одежду, пищевые добавки и цифровую электронику.

После переработки этих страниц исследователи проверили, удастся ли обмануть LLM и заставить их включить вымышленный бренд в свои рекомендации.

Ответ был однозначным: да.

«Среди 12 коммерческих и открытых LLM все модели уязвимы: одна загрязненная страница приводит к показателю обмана до 27 %, а полная замена первых трех результатов повышает этот показатель до 73,8 %», — написали Луо и Чен в своей статье.

Таким образом, одной поддельной страницы хватило, чтобы обмануть определенные ИИ более чем в четверти случаев. А когда манипулировали тремя первыми результатами поиска, модели попадались на уловку почти в трех четвертях случаев.

В некоторых случаях модели шли ещё дальше, придумывая положительные отзывы о поддельных брендах, например, утверждая, что они популярны в онлайн-сообществах.

Тестирование средств защиты

Исследователи также протестировали три защитных механизма, чтобы проверить, смогут ли они предотвратить обман ИИ с помощью поддельного веб-контента. К ним относятся: скептицизм, который предписывает чат-ботам с большой долей сомнения относиться к прочитанному; консенсус на основе предварительных знаний модели, который заставляет ИИ сверять рекомендации со своей собственной памятью; и согласованность между документами, которая требует от ИИ найти один и тот же бренд на нескольких веб-сайтах, прежде чем доверять ему.

Все три метода оказались неэффективными или привели к появлению новых проблем, как отметили Ло и Чен в своей статье. «Простых защитных механизмов недостаточно. Побуждение к скептицизму может привести к обратному результату, а фильтрация на основе консенсуса выявляет поддельные бренды лишь за счет подавления множества легитимных рекомендаций».

Так в чём же решение? Исследователи утверждают, что исправление нельзя применять только на уровне чат-ботов. Вместо этого системы ИИ, дополненные поисковыми функциями, нуждаются в более надежных механизмах защиты для проверки достоверности веб-контента перед его преобразованием в рекомендации по продуктам.

Эта статья была написана нашим автором Полом Арнольдом, отредактирована Габи Кларк, а проверку фактов и рецензирование провёл Роберт Иган — это результат тщательной работы людей. Мы полагаемся на таких читателей, как вы, чтобы поддерживать независимую научную журналистику. Если эта журналистика важна для вас, пожалуйста, рассмотрите возможность пожертвования (особенно ежемесячного). В знак благодарности вы получите аккаунт без рекламы.