研究显示,仅一个虚假网页就能骗过AI购物机器人

我们搭建了已部署的、基于搜索增强的大语言模型(LLM)管道。两条流程均采用相同的“查询 → 实时网络搜索 → 搜索结果 → LLM → 推荐”结构,唯一区别在于虚假内容注入的节点。在真实的GEO场景(上图)中,操作员在上游向实时网络注入虚假内容。 在我们的模拟实验(下图)中,出于伦理考量,我们选择在本地重写部分搜索结果,而非污染实时网络。来源:arXiv(2026)。DOI:10.48550/arxiv.2606.13610
AI购物助手正在互联网上迅速普及,改变了我们浏览、比较和发现商品的方式。然而,这些有用的工具却存在一个严重的安全漏洞。根据发表在arXiv预印本服务器上的一篇论文,仅需一个经过篡改的网页,就能欺骗AI助手向毫无戒心的顾客推荐假冒商品。
鉴于网络上假冒产品和虚假评论泛滥,研究人员罗明浩和陈亮着手测试:基于搜索增强的人工智能系统有多容易被误导,从而推荐虚假品牌。
AI测试平台
研究人员开发了一款名为FORGE(生成式环境中的虚假在线推荐)的模拟工具,用于测试包括Anthropic、谷歌和OpenAI在内的12种主流AI模型。这使他们能够在不影响实时网页的情况下评估网络内容污染问题。
他们利用真实的搜索结果——即在线搜索购物推荐时显示的排名前列的网页——识别出选定页面中提及的主要品牌,并将其替换为虚假品牌。这一操作针对15个类别中的225种产品进行了测试,涵盖服装、保健品和数码电子产品等领域。
重写这些页面后,他们测试了大型语言模型(LLMs)是否会被误导,并在推荐中包含虚假品牌。
答案是毋庸置疑的“是”。
“在12种商用和开放权重的LLM中,所有模型都存在漏洞:单个被污染的页面就会导致高达27%的受骗率,而将前三个搜索结果全部替换后,这一比例上升至73.8%,”罗和陈在论文中写道。
因此,仅需一个虚假页面,就足以在超过四分之一的情况下欺骗某些AI。而当前三个搜索结果被篡改时,模型中上当受骗的比例接近四分之三。
在某些情况下,这些模型甚至走得更远,编造关于虚假品牌的正面评论,例如声称这些品牌在网络社区中很受欢迎。
测试防御机制
研究人员还测试了三种防御机制,以验证它们能否防止AI上当受骗。 这三种防御机制分别是:怀疑主义——要求聊天机器人对所读内容保持高度怀疑;模型先验共识——强制AI将其推荐内容与自身记忆进行交叉核对;以及跨文档一致性——要求AI在多个网站上找到同一品牌后才予以信任。
正如罗和陈在论文中指出的,这三种防御机制要么失败,要么引发了新的问题。“简单的防御措施是不够的。怀疑论提示可能会适得其反,而基于共识的过滤虽然能识别假冒品牌,但同时也压制了许多合法的推荐。”
那么,解决方案是什么?研究人员认为,解决办法不能仅停留在聊天机器人层面。相反,搜索增强型人工智能系统需要更强大的保障措施,在将网络内容转化为产品推荐之前,先对其可信度进行验证。
本文由作者保罗·阿诺德(Paul Arnold)撰写,加比·克拉克(Gaby Clark)编辑,罗伯特·伊根(Robert Egan)负责事实核查与审阅——这是经过精心人工处理的成果。我们依靠像您这样的读者来维持独立科学新闻的生存。如果您重视这份报道,请考虑捐款(尤其是每月定期捐款)。 作为感谢,您将获得一个无广告的账户。
相关文章
据消息人士称,机器人初创公司通用估值达30亿美元
机器人初创公司 Generalist 在由 8VC 领投的新融资轮次后,估值已达 30 亿美元,据两位知情人士透露。监管文件显示,最新一轮注资金额接近 2 亿美元。这扩展了此前宣布的由 Radical Ventures 于 6 月以 20 亿美元估值领投的 4 亿美元 B 轮融资,使本轮总融资金额达到 6 亿美元。Generalist 和 8VC 的代表未立即回应置评请求。Generalist 由前谷歌 DeepMind 研究人员 Pete Florence 和 Andy Zeng,以及前
Anthropic 收购 Stainless:AI 竞赛转向开发者体验
突发新闻:Anthropic 于 5 月 18 日正式收购了开发者工具领域的关键参与者 Stainless。尽管财务细节尚未披露,但此次合并的战略价值显而易见。Stainless 或许并非家喻户晓的名字,但其影响在开发者日常工作中随处可见。自 2022 年以来,这家初创公司通过将 API 文档转换为适用于 TypeScript、Python、Go、Java 和 Kotlin 的即用型 SDK,简化了 API 集成过程。这使得开发者能够跳过样板代码的编写,专注于功能开发。Stainless 与
Meta 的 AI 智能体 Muse 存在已知的安全漏洞,但扎克伯格仍坚持推进其发布
Meta 推迟了其 AI 智能体 Muse 的发布,理由是存在安全问题,但在 Instinct 等竞争对手的压力下,马克·扎克伯格选择按原计划推出该产品。仓促推向市场时忽视了已知风险内部测试显示,Muse 存在严重缺陷,包括未经授权更改密码和读取私人消息。它还向第三方卖家泄露了用户地址。尽管有 AI 领域领导者的警告,Meta 仍在 9 月 8 日推出了 Muse。快速行动带来显著的用户增长Meta 激进的发布策略取得了成功,在几周内推动了超过 660 万次下载和 180 万日活跃用户。
相关专题推荐
评论 (1)
0/500

我们搭建了已部署的、基于搜索增强的大语言模型(LLM)管道。两条流程均采用相同的“查询 → 实时网络搜索 → 搜索结果 → LLM → 推荐”结构,唯一区别在于虚假内容注入的节点。在真实的GEO场景(上图)中,操作员在上游向实时网络注入虚假内容。 在我们的模拟实验(下图)中,出于伦理考量,我们选择在本地重写部分搜索结果,而非污染实时网络。来源:arXiv(2026)。DOI:10.48550/arxiv.2606.13610
AI购物助手正在互联网上迅速普及,改变了我们浏览、比较和发现商品的方式。然而,这些有用的工具却存在一个严重的安全漏洞。根据发表在arXiv预印本服务器上的一篇论文,仅需一个经过篡改的网页,就能欺骗AI助手向毫无戒心的顾客推荐假冒商品。
鉴于网络上假冒产品和虚假评论泛滥,研究人员罗明浩和陈亮着手测试:基于搜索增强的人工智能系统有多容易被误导,从而推荐虚假品牌。
AI测试平台
研究人员开发了一款名为FORGE(生成式环境中的虚假在线推荐)的模拟工具,用于测试包括Anthropic、谷歌和OpenAI在内的12种主流AI模型。这使他们能够在不影响实时网页的情况下评估网络内容污染问题。
他们利用真实的搜索结果——即在线搜索购物推荐时显示的排名前列的网页——识别出选定页面中提及的主要品牌,并将其替换为虚假品牌。这一操作针对15个类别中的225种产品进行了测试,涵盖服装、保健品和数码电子产品等领域。
重写这些页面后,他们测试了大型语言模型(LLMs)是否会被误导,并在推荐中包含虚假品牌。
答案是毋庸置疑的“是”。
“在12种商用和开放权重的LLM中,所有模型都存在漏洞:单个被污染的页面就会导致高达27%的受骗率,而将前三个搜索结果全部替换后,这一比例上升至73.8%,”罗和陈在论文中写道。
因此,仅需一个虚假页面,就足以在超过四分之一的情况下欺骗某些AI。而当前三个搜索结果被篡改时,模型中上当受骗的比例接近四分之三。
在某些情况下,这些模型甚至走得更远,编造关于虚假品牌的正面评论,例如声称这些品牌在网络社区中很受欢迎。
测试防御机制
研究人员还测试了三种防御机制,以验证它们能否防止AI上当受骗。 这三种防御机制分别是:怀疑主义——要求聊天机器人对所读内容保持高度怀疑;模型先验共识——强制AI将其推荐内容与自身记忆进行交叉核对;以及跨文档一致性——要求AI在多个网站上找到同一品牌后才予以信任。
正如罗和陈在论文中指出的,这三种防御机制要么失败,要么引发了新的问题。“简单的防御措施是不够的。怀疑论提示可能会适得其反,而基于共识的过滤虽然能识别假冒品牌,但同时也压制了许多合法的推荐。”
那么,解决方案是什么?研究人员认为,解决办法不能仅停留在聊天机器人层面。相反,搜索增强型人工智能系统需要更强大的保障措施,在将网络内容转化为产品推荐之前,先对其可信度进行验证。
本文由作者保罗·阿诺德(Paul Arnold)撰写,加比·克拉克(Gaby Clark)编辑,罗伯特·伊根(Robert Egan)负责事实核查与审阅——这是经过精心人工处理的成果。我们依靠像您这样的读者来维持独立科学新闻的生存。如果您重视这份报道,请考虑捐款(尤其是每月定期捐款)。 作为感谢,您将获得一个无广告的账户。
据消息人士称,机器人初创公司通用估值达30亿美元
机器人初创公司 Generalist 在由 8VC 领投的新融资轮次后,估值已达 30 亿美元,据两位知情人士透露。监管文件显示,最新一轮注资金额接近 2 亿美元。这扩展了此前宣布的由 Radical Ventures 于 6 月以 20 亿美元估值领投的 4 亿美元 B 轮融资,使本轮总融资金额达到 6 亿美元。Generalist 和 8VC 的代表未立即回应置评请求。Generalist 由前谷歌 DeepMind 研究人员 Pete Florence 和 Andy Zeng,以及前
Anthropic 收购 Stainless:AI 竞赛转向开发者体验
突发新闻:Anthropic 于 5 月 18 日正式收购了开发者工具领域的关键参与者 Stainless。尽管财务细节尚未披露,但此次合并的战略价值显而易见。Stainless 或许并非家喻户晓的名字,但其影响在开发者日常工作中随处可见。自 2022 年以来,这家初创公司通过将 API 文档转换为适用于 TypeScript、Python、Go、Java 和 Kotlin 的即用型 SDK,简化了 API 集成过程。这使得开发者能够跳过样板代码的编写,专注于功能开发。Stainless 与





首页






