研究顯示,僅需一個偽造網頁就能欺騙 AI 購物機器人

我們建置了已部署的「搜尋增強型大型語言模型(LLM)」處理流程。這兩條流程鏈皆採用相同的「查詢 → 即時網路搜尋 → 搜尋結果 → LLM → 推薦」結構,唯一差異在於虛假內容的注入點。在真實世界的 GEO 情境(上圖)中,操作者將虛假內容注入至即時網路的上游。 在我們的模擬實驗(下圖)中,基於倫理考量,我們選擇在本地重新編寫部分搜尋結果,而非污染即時網路。資料來源:arXiv(2026)。DOI:10.48550/arxiv.2606.13610
AI 購物助理正於網際網路上迅速普及,改變了我們瀏覽、比較和發現產品的方式。然而,這些實用的工具卻潛藏著嚴重的安全漏洞。根據發表於arXiv預印本伺服器的一篇論文指出,僅需一個經過篡改的網頁,便足以欺騙 AI 助理,使其向毫無戒心的顧客推薦假冒產品。
鑒於網路上的假冒商品與虛假評論猖獗,研究人員羅明浩(Minghao Luo)與陳亮(Liang Chen)著手測試,具備搜尋增強功能的 AI 系統究竟有多容易被誤導,進而推薦虛假品牌。
AI 測試平台
研究人員開發了一款名為 FORGE(生成式環境中的虛假線上推薦,Fake Online Recommendations in Generative Environments)的模擬工具,用以測試 12 種領先的 AI 模型,包括來自 Anthropic、Google 和 OpenAI 的模型。這使他們能夠在不影響實際網頁的情況下,評估網路內容的污染狀況。
他們利用真實的搜尋結果——即在網路上搜尋購物推薦時出現的頂端網頁——識別出選定頁面中提及的主要品牌,並將其替換為虛假品牌。此測試涵蓋 15 個類別共 225 項產品,包括服飾、營養補充品和數位電子產品。
重寫這些網頁後,他們測試了大型語言模型(LLMs)是否會被誤導,並將虛假品牌納入其推薦清單中。
答案無庸置疑:會。
「在 12 種商用及開放權重的大規模語言模型中,所有模型都存在漏洞:單一受污染的網頁就可能導致高達 27% 的受騙率,而若將前三大搜尋結果全部替換,受騙率更會升至 73.8%」,羅與陳在論文中寫道。
因此,僅需一個虛假頁面,就足以在超過四分之一的情況下欺騙某些 AI。而當前三大搜尋結果遭到操縱時,模型在近四分之三的情況下都上當受騙。
在某些情況下,這些模型甚至更進一步,捏造關於虛假品牌的正面評論,例如聲稱這些品牌在網路社群中很受歡迎。
測試防禦機制
研究人員還測試了三種防禦機制,以驗證它們能否防止 AI 上當受騙。 這三種防禦機制分別是:懷疑主義(指示聊天機器人對所讀內容保持高度懷疑);模型先驗共識(迫使 AI 將推薦內容與自身記憶進行交叉核對);以及跨文件一致性(要求 AI 必須在多個網站上找到相同品牌,才會予以信任)。
正如羅與陳在論文中所指出的,這三種防禦機制不是失敗,就是引發了新的問題。「單純的防禦措施並不足夠。懷疑主義的提示可能適得其反,而基於共識的過濾機制,雖然能攔截假品牌,卻同時壓制了許多合法的推薦。」
那麼解決方案是什麼?研究人員主張,解決方案不能僅限於聊天機器人層級。相反地,搜尋增強型 AI 系統需要更強大的保障措施,在將網路內容轉化為產品推薦之前,先驗證其可信度。
本文由本刊作者保羅·阿諾德(Paul Arnold)撰寫,蓋比·克拉克(Gaby Clark)編輯,並由羅伯特·伊根(Robert Egan)進行事實核查與審閱——這是經由人類仔細工作產出的成果。我們仰賴像您這樣的讀者,才能讓獨立科學新聞業持續運作。若您認為這篇報導具有價值,請考慮捐款(尤其是每月定期捐款)。 作為感謝,您將獲得一個無廣告的帳戶。
相關文章
據訊息人士稱,機器人初創公司通用估值達30億美元
機器人初創公司 Generalist 在由 8VC 領投的新融資輪次後,估值已達 30 億美元,據兩位知情人士透露。監管檔案顯示,最新一輪注資金額接近 2 億美元。這擴充套件了此前宣佈的由 Radical Ventures 於 6 月以 20 億美元估值領投的 4 億美元 B 輪融資,使本輪總融資金額達到 6 億美元。Generalist 和 8VC 的代表未立即回應置評請求。Generalist 由前谷歌 DeepMind 研究人員 Pete Florence 和 Andy Zeng,以及前
Anthropic 收購 Stainless:AI 競賽轉向開發者體驗
突發新聞:Anthropic 於 5 月 18 日正式收購了開發者工具領域的關鍵參與者 Stainless。儘管財務細節尚未披露,但此次合併的戰略價值顯而易見。Stainless 或許並非家喻戶曉的名字,但其影響在開發者日常工作中隨處可見。自 2022 年以來,這家初創公司透過將 API 文件轉換為適用於 TypeScript、Python、Go、Java 和 Kotlin 的即用型 SDK,簡化了 API 整合過程。這使得開發者能夠跳過樣板程式碼的編寫,專注於功能開發。Stainless 與
Meta 的 AI 智慧體 Muse 存在已知的安全漏洞,但扎克伯格仍堅持推進其釋出
Meta 推遲了其 AI 智慧體 Muse 的釋出,理由是存在安全問題,但在 Instinct 等競爭對手的壓力下,馬克·扎克伯格選擇按原計劃推出該產品。倉促推向市場時忽視了已知風險內部測試顯示,Muse 存在嚴重缺陷,包括未經授權更改密碼和讀取私人訊息。它還向第三方賣家洩露了使用者地址。儘管有 AI 領域領導者的警告,Meta 仍在 9 月 8 日推出了 Muse。快速行動帶來顯著的使用者增長Meta 激進的釋出策略取得了成功,在幾周內推動了超過 660 萬次下載和 180 萬日活躍使用者。
相關專題推薦
評論 (1)
0/500

我們建置了已部署的「搜尋增強型大型語言模型(LLM)」處理流程。這兩條流程鏈皆採用相同的「查詢 → 即時網路搜尋 → 搜尋結果 → LLM → 推薦」結構,唯一差異在於虛假內容的注入點。在真實世界的 GEO 情境(上圖)中,操作者將虛假內容注入至即時網路的上游。 在我們的模擬實驗(下圖)中,基於倫理考量,我們選擇在本地重新編寫部分搜尋結果,而非污染即時網路。資料來源:arXiv(2026)。DOI:10.48550/arxiv.2606.13610
AI 購物助理正於網際網路上迅速普及,改變了我們瀏覽、比較和發現產品的方式。然而,這些實用的工具卻潛藏著嚴重的安全漏洞。根據發表於arXiv預印本伺服器的一篇論文指出,僅需一個經過篡改的網頁,便足以欺騙 AI 助理,使其向毫無戒心的顧客推薦假冒產品。
鑒於網路上的假冒商品與虛假評論猖獗,研究人員羅明浩(Minghao Luo)與陳亮(Liang Chen)著手測試,具備搜尋增強功能的 AI 系統究竟有多容易被誤導,進而推薦虛假品牌。
AI 測試平台
研究人員開發了一款名為 FORGE(生成式環境中的虛假線上推薦,Fake Online Recommendations in Generative Environments)的模擬工具,用以測試 12 種領先的 AI 模型,包括來自 Anthropic、Google 和 OpenAI 的模型。這使他們能夠在不影響實際網頁的情況下,評估網路內容的污染狀況。
他們利用真實的搜尋結果——即在網路上搜尋購物推薦時出現的頂端網頁——識別出選定頁面中提及的主要品牌,並將其替換為虛假品牌。此測試涵蓋 15 個類別共 225 項產品,包括服飾、營養補充品和數位電子產品。
重寫這些網頁後,他們測試了大型語言模型(LLMs)是否會被誤導,並將虛假品牌納入其推薦清單中。
答案無庸置疑:會。
「在 12 種商用及開放權重的大規模語言模型中,所有模型都存在漏洞:單一受污染的網頁就可能導致高達 27% 的受騙率,而若將前三大搜尋結果全部替換,受騙率更會升至 73.8%」,羅與陳在論文中寫道。
因此,僅需一個虛假頁面,就足以在超過四分之一的情況下欺騙某些 AI。而當前三大搜尋結果遭到操縱時,模型在近四分之三的情況下都上當受騙。
在某些情況下,這些模型甚至更進一步,捏造關於虛假品牌的正面評論,例如聲稱這些品牌在網路社群中很受歡迎。
測試防禦機制
研究人員還測試了三種防禦機制,以驗證它們能否防止 AI 上當受騙。 這三種防禦機制分別是:懷疑主義(指示聊天機器人對所讀內容保持高度懷疑);模型先驗共識(迫使 AI 將推薦內容與自身記憶進行交叉核對);以及跨文件一致性(要求 AI 必須在多個網站上找到相同品牌,才會予以信任)。
正如羅與陳在論文中所指出的,這三種防禦機制不是失敗,就是引發了新的問題。「單純的防禦措施並不足夠。懷疑主義的提示可能適得其反,而基於共識的過濾機制,雖然能攔截假品牌,卻同時壓制了許多合法的推薦。」
那麼解決方案是什麼?研究人員主張,解決方案不能僅限於聊天機器人層級。相反地,搜尋增強型 AI 系統需要更強大的保障措施,在將網路內容轉化為產品推薦之前,先驗證其可信度。
本文由本刊作者保羅·阿諾德(Paul Arnold)撰寫,蓋比·克拉克(Gaby Clark)編輯,並由羅伯特·伊根(Robert Egan)進行事實核查與審閱——這是經由人類仔細工作產出的成果。我們仰賴像您這樣的讀者,才能讓獨立科學新聞業持續運作。若您認為這篇報導具有價值,請考慮捐款(尤其是每月定期捐款)。 作為感謝,您將獲得一個無廣告的帳戶。
據訊息人士稱,機器人初創公司通用估值達30億美元
機器人初創公司 Generalist 在由 8VC 領投的新融資輪次後,估值已達 30 億美元,據兩位知情人士透露。監管檔案顯示,最新一輪注資金額接近 2 億美元。這擴充套件了此前宣佈的由 Radical Ventures 於 6 月以 20 億美元估值領投的 4 億美元 B 輪融資,使本輪總融資金額達到 6 億美元。Generalist 和 8VC 的代表未立即回應置評請求。Generalist 由前谷歌 DeepMind 研究人員 Pete Florence 和 Andy Zeng,以及前
Anthropic 收購 Stainless:AI 競賽轉向開發者體驗
突發新聞:Anthropic 於 5 月 18 日正式收購了開發者工具領域的關鍵參與者 Stainless。儘管財務細節尚未披露,但此次合併的戰略價值顯而易見。Stainless 或許並非家喻戶曉的名字,但其影響在開發者日常工作中隨處可見。自 2022 年以來,這家初創公司透過將 API 文件轉換為適用於 TypeScript、Python、Go、Java 和 Kotlin 的即用型 SDK,簡化了 API 整合過程。這使得開發者能夠跳過樣板程式碼的編寫,專注於功能開發。Stainless 與





首頁






