选项
首页
新闻
研究显示,仅一个虚假网页就能骗过AI购物机器人

研究显示,仅一个虚假网页就能骗过AI购物机器人

2026-07-25
115
研究发现,一个虚假网页就足以欺骗AI购物机器人

我们搭建了已部署的、基于搜索增强的大语言模型(LLM)管道。两条流程均采用相同的“查询 → 实时网络搜索 → 搜索结果 → LLM → 推荐”结构,唯一区别在于虚假内容注入的节点。在真实的GEO场景(上图)中,操作员在上游向实时网络注入虚假内容。 在我们的模拟实验(下图)中,出于伦理考量,我们选择在本地重写部分搜索结果,而非污染实时网络。来源:arXiv(2026)。DOI:10.48550/arxiv.2606.13610

AI购物助手正在互联网上迅速普及,改变了我们浏览、比较和发现商品的方式。然而,这些有用的工具却存在一个严重的安全漏洞。根据发表在arXiv预印本服务器上的一篇论文,仅需一个经过篡改的网页,就能欺骗AI助手向毫无戒心的顾客推荐假冒商品。

鉴于网络上假冒产品和虚假评论泛滥,研究人员罗明浩和陈亮着手测试:基于搜索增强的人工智能系统有多容易被误导,从而推荐虚假品牌。

AI测试平台

研究人员开发了一款名为FORGE(生成式环境中的虚假在线推荐)的模拟工具,用于测试包括Anthropic、谷歌和OpenAI在内的12种主流AI模型。这使他们能够在不影响实时网页的情况下评估网络内容污染问题。

他们利用真实的搜索结果——即在线搜索购物推荐时显示的排名前列的网页——识别出选定页面中提及的主要品牌,并将其替换为虚假品牌。这一操作针对15个类别中的225种产品进行了测试,涵盖服装、保健品和数码电子产品等领域。

重写这些页面后,他们测试了大型语言模型(LLMs)是否会被误导,并在推荐中包含虚假品牌。

答案是毋庸置疑的“是”。

“在12种商用和开放权重的LLM中,所有模型都存在漏洞:单个被污染的页面就会导致高达27%的受骗率,而将前三个搜索结果全部替换后,这一比例上升至73.8%,”罗和陈在论文中写道。

因此,仅需一个虚假页面,就足以在超过四分之一的情况下欺骗某些AI。而当前三个搜索结果被篡改时,模型中上当受骗的比例接近四分之三。

在某些情况下,这些模型甚至走得更远,编造关于虚假品牌的正面评论,例如声称这些品牌在网络社区中很受欢迎。

测试防御机制

研究人员还测试了三种防御机制,以验证它们能否防止AI上当受骗。 这三种防御机制分别是:怀疑主义——要求聊天机器人对所读内容保持高度怀疑;模型先验共识——强制AI将其推荐内容与自身记忆进行交叉核对;以及跨文档一致性——要求AI在多个网站上找到同一品牌后才予以信任。

正如罗和陈在论文中指出的,这三种防御机制要么失败,要么引发了新的问题。“简单的防御措施是不够的。怀疑论提示可能会适得其反,而基于共识的过滤虽然能识别假冒品牌,但同时也压制了许多合法的推荐。”

那么,解决方案是什么?研究人员认为,解决办法不能仅停留在聊天机器人层面。相反,搜索增强型人工智能系统需要更强大的保障措施,在将网络内容转化为产品推荐之前,先对其可信度进行验证。

本文由作者保罗·阿诺德(Paul Arnold)撰写,加比·克拉克(Gaby Clark)编辑,罗伯特·伊根(Robert Egan)负责事实核查与审阅——这是经过精心人工处理的成果。我们依靠像您这样的读者来维持独立科学新闻的生存。如果您重视这份报道,请考虑捐款(尤其是每月定期捐款)。 作为感谢,您将获得一个无广告的账户。

相关文章
据消息人士称,机器人初创公司通用估值达30亿美元 据消息人士称,机器人初创公司通用估值达30亿美元 机器人初创公司 Generalist 在由 8VC 领投的新融资轮次后,估值已达 30 亿美元,据两位知情人士透露。监管文件显示,最新一轮注资金额接近 2 亿美元。这扩展了此前宣布的由 Radical Ventures 于 6 月以 20 亿美元估值领投的 4 亿美元 B 轮融资,使本轮总融资金额达到 6 亿美元。Generalist 和 8VC 的代表未立即回应置评请求。Generalist 由前谷歌 DeepMind 研究人员 Pete Florence 和 Andy Zeng,以及前
Anthropic 收购 Stainless:AI 竞赛转向开发者体验 Anthropic 收购 Stainless:AI 竞赛转向开发者体验 突发新闻:Anthropic 于 5 月 18 日正式收购了开发者工具领域的关键参与者 Stainless。尽管财务细节尚未披露,但此次合并的战略价值显而易见。Stainless 或许并非家喻户晓的名字,但其影响在开发者日常工作中随处可见。自 2022 年以来,这家初创公司通过将 API 文档转换为适用于 TypeScript、Python、Go、Java 和 Kotlin 的即用型 SDK,简化了 API 集成过程。这使得开发者能够跳过样板代码的编写,专注于功能开发。Stainless 与
Meta 的 AI 智能体 Muse 存在已知的安全漏洞,但扎克伯格仍坚持推进其发布 Meta 的 AI 智能体 Muse 存在已知的安全漏洞,但扎克伯格仍坚持推进其发布 Meta 推迟了其 AI 智能体 Muse 的发布,理由是存在安全问题,但在 Instinct 等竞争对手的压力下,马克·扎克伯格选择按原计划推出该产品。仓促推向市场时忽视了已知风险内部测试显示,Muse 存在严重缺陷,包括未经授权更改密码和读取私人消息。它还向第三方卖家泄露了用户地址。尽管有 AI 领域领导者的警告,Meta 仍在 9 月 8 日推出了 Muse。快速行动带来显著的用户增长Meta 激进的发布策略取得了成功,在几周内推动了超过 660 万次下载和 180 万日活跃用户。
相关专题推荐
设计与艺术 顶级AI插画工具:更快地创作编辑类场景和封面插图
顶级AI插画工具:更快地创作编辑类场景和封面插图

2026年最新高评分AI插画工具:我们精心挑选的这份清单汇集了功能强大的顶级工具,助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试,并提供了免费版与付费版的对比,帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案,释放您的AI优势,提升创作效率。立即访问 XIX.AI 探索更多。

10 个工具
xix.ai
教育与学习 备考首选的顶尖AI辅导老师:练习数学、科学和英语
备考首选的顶尖AI辅导老师:练习数学、科学和英语

2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI!我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具,提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习,并释放你的学术潜能。 立即探索,发现最适合您的备考工具,今天就开始创作,释放您的AI优势!

10 个工具
xix.ai
金融 用于个人财务管理的 AI 预算规划工具
用于个人财务管理的 AI 预算规划工具

2026 年最新最佳顶级评分 AI 预算规划工具,专为个人财务管理打造,现已登陆 XIX.AI!本精选合集收录了强大且具颠覆性的解决方案,助您开展实际测试、理解消费习惯,并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理,助您释放 AI 优势。立即探索!

11 个工具
xix.ai
健康养生 AI睡眠追踪助手:通过养成更好的睡前习惯来促进身体恢复
AI睡眠追踪助手:通过养成更好的睡前习惯来促进身体恢复

2026年最新精选高评分AI睡眠追踪助手,助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具,提供实际测试结果、免费与付费版本对比以及详细排名,助您找到必试的解决方案,从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI,解锁您的AI优势。

10 个工具
xix.ai
数据分析 用于产品和收入分析的 AI SQL 辅助工具
用于产品和收入分析的 AI SQL 辅助工具

2026年最新、最受欢迎、评分最高的AI SQL辅助工具,助力产品与营收分析! XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具,这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察,帮助用户显著提升工作效率,从而推动更明智的商业决策。立即探索,发现最适合您的工具,释放您的AI优势!

14 个工具
xix.ai
教育与学习 最佳的、兼具教学功能的AI作业助手:学习概念,而不仅仅是答案
最佳的、兼具教学功能的AI作业助手:学习概念,而不仅仅是答案

2026年最新最佳高评分AI作业助手:不仅提供答案,更传授核心概念。专为学生打造的强大工具,精选必试清单,每周更新,免费与付费版本对比,真实使用测试,精准排名,助您充分释放学习潜能。立即探索,发现最适合您的工具,让学习更高效。

10 个工具
xix.ai
评论 (1)
0/500
JimmyRamirez
JimmyRamirez 2026-08-23 12:00:14

It's wild that just one fake webpage can fool AI shopping bots, does this mean we need stricter web content verification soon? 😅

OR