Anthropic 的 Chrome 版 Claude 推出限量測試版,但存在提示注入風險

Anthropic 目前正在試用 Chrome 瀏覽器延伸功能,讓其 Claude AI 助理能夠操作使用者的網頁瀏覽器,這表示 Anthropic 已進入快速成長且潛在危險的領域,讓 AI 可以直接與電腦介面互動。
這家總部位於舊金山的人工智能公司在週二透露,將推出「Claude for Chrome」試用版,並選定 1,000 名使用其 Max 高級方案的使用者,將這個有限的版本定義為研究預覽,目的是在全面推出之前,找出並解決重要的安全漏洞。這種謹慎的策略與競爭對手 OpenAI 和微軟更積極的發佈形成強烈對比,兩家公司已經向更多人提供具有電腦控制功能的類似 AI 系統。
這一發展突顯了人工智能產業的快速進展,從創造回答問題的聊天機器人,到建立可在各種軟體應用程式中獨立處理複雜、多步驟任務的「代理」系統。許多專家將這種轉變視為人工智慧的下一個重大進展,而且隨著企業尋求從支出報告到度假協調等流程的自動化,這種轉變可能會帶來高利潤。
AI 代理如何操作您的瀏覽器,而隱藏的惡意程式碼卻造成重大的安全風險
有了 Claude for Chrome,使用者可以在網頁瀏覽器中指示 AI 完成任務,例如透過存取行事曆和檢查餐廳空位來安排會議、管理電子郵件通訊,以及處理日常行政職務。該系統可以詮釋螢幕上的內容、與按鈕互動、填寫表單以及瀏覽不同的網站,有效地複製人類類似的網頁型應用程式導覽。
"Anthropic 在其公告中解釋:「我們認為具備瀏覽器功能的人工智慧是一項必然的發展:由於許多工作都是在瀏覽器中進行,因此讓 Claude 能夠檢視您的螢幕、點選按鈕並輸入資料,將可大幅提升其效用。
然而,該公司的內部安全評估發現了令人憂慮的漏洞,說明賦予 AI 系統直接介面控制的風險。在對抗性測試中,Anthropic 發現駭客可以在網站、電子郵件或文件中嵌入隱藏指令,欺騙 AI 系統在使用者未察覺的情況下執行有害動作 - 這種方法稱為提示注入 (prompt injection)。
在沒有防護措施的情況下,當特別針對瀏覽器操作的 AI 時,這些攻擊有 23.6% 的時間是有效的。在其中一種情況下,一封偽裝成安全更新的詐欺電郵指示 Claude 刪除使用者的電子郵件「用於郵箱維護」,而 AI 在未尋求確認的情況下就執行了這項動作。
該公司證實:「這些並非假設情境:我們已針對 Chrome 版 Claude 進行「紅隊」試驗,在沒有安全防護措施的情況下,我們觀察到一些驚人的結果。
Anthropic對電腦控制技術採取謹慎態度,OpenAI與微軟加速商業發行
Anthropic深思熟慮的方法論,是在競爭對手更快速地進軍電腦控制應用程式的同時出現的。OpenAI 於 1 月推出「Operator」代理程式,提供給所有月費 200 美元的 ChatGPT Pro 計劃訂戶。在全新的「電腦使用代理」模式驅動下,Operator 可執行各種功能,例如取得音樂會門票、購買雜貨,以及安排行程。
微軟於 4 月透過其 Copilot Studio 平台推出電腦操作功能,主要針對企業客戶,提供能與網頁和桌面應用程式互動的使用者介面自動化工具。該公司將其解決方案介紹為傳統機器人流程自動化 (RPA) 系統的先進替代品。
這些競爭手法揭示了更廣泛的產業緊張關係,公司必須在提供創新功能的推動力與推出未經充分審核技術的危險之間進行權衡。OpenAI 的加速時程有助於它在市場上搶得先機,而 Anthropic 謹慎的策略可能會在一開始限制其競爭優勢,但如果出現安全問題,則可能會獲得回報。
Anthropic 指出:「建基於尖端模型的瀏覽器操作代理程式已經出現,因此這項計畫特別具有時間敏感性,」這表示該公司即使面臨持續的安全挑戰,仍覺得有驅動力加入市場。
電腦控制 AI 如何改變企業自動化,取代成本高昂的工作流程應用程式
電腦控制 AI 系統的出現可能會從根本上改變企業實施自動化和工作流程管理的方式。現有的企業自動化通常依賴於成本高昂的客製化整合或專門的機器人流程自動化軟體,當應用程式介面被修改時,這些軟體就會失效。
電腦使用代理的目標是讓自動化更容易使用,因為它可以與任何具備圖形使用者介面的軟體一起運作,有可能自動化各種不支援正式 API 或整合功能的商業應用程式。
Salesforce 的研究人員最近利用他們的 CoAct-1 系統展示了這項功能,該系統結合了傳統的點選式自動化與程式碼產生。這種結合的方法在複雜的電腦任務上達到 60.76% 的成功率,而所需的步驟卻遠少於純粹以 GUI 為基礎的代理程式,顯示效率的大幅提升是可以實現的。
"Salesforce 應用 AI 研究總監 Ran Xu 澄清說:「對於企業主管來說,機會在於自動化複雜的多應用程式程序,在這些程序中,完整的 API 存取並不常見,而非標準。
學術研究人員推出免費選項,取代大型科技公司的獨家電腦使用 AI 平台
領先科技公司的專屬系統盛行,激發大學研究人員創造可使用的替代方案。香港大學最近發表了 OpenCUA,這是一個開放源碼框架,用於開發電腦應用代理,其性能可與 OpenAI 和 Anthropic 的專有模型相媲美。
OpenCUA 系統在 Windows、macOS 和 Ubuntu 上使用超過 22,600 個人類任務範例進行教育,在開源模型中取得頂尖的結果,其表現可媲美領先的商業系統。這項進展可以加速企業的執行速度,讓他們避免在重要的自動化流程中依賴封閉式系統。
Anthropic 的安全評估顯示 AI 代理可能會被騙去刪除檔案和竊取資訊
Anthropic 已為 Chrome 版 Claude 加入多項防護措施,包括網站特定權限,讓使用者可規範 AI 可以造訪哪些網站;對於完成購物或揭露私人資訊等高風險行動,必須經過強制性批准;以及限制進入敏感類別,包括金融服務和成人資料。
該公司的安全升級將自主操作中的提示注入攻擊有效性從 23.6% 降至 11.2%,儘管高管們承認這對於廣泛傳播仍有不足。對於以瀏覽器為重點、涉及隱藏表格元素和 URL 變更的攻擊,新的防禦措施將成功率從 35.7% 降為零。
然而,這些防護措施可能無法完全涵蓋實際網路設定的複雜性,因為新的攻擊方法會不斷出現。該公司打算運用試驗計畫的知識來強化其安全基礎架構,並建立更先進的權限設定。
"Anthropic 警告說:「惡意行為者不斷發明新類型的提示注入攻擊,強調持續存在的安全困境。
與介面互動的 AI 代理的出現可能會徹底改變人與電腦的互動關係
幾家主要的人工智慧公司圍繞電腦控制代理的結盟,顯示人工智慧與目前軟體架構的互動方式將有顯著的轉變。這些系統不是強迫企業執行新的人工智慧專用工具,而是設計成可與企業目前採用的任何應用程式一同運作。
這種方法可以大幅減少人工智慧導入的障礙,同時也可能讓傳統自動化供應商和系統整合商變得多餘。那些已投入大量資源進行客製化整合或 RPA 平台的組織,可能會發現他們的方法已經過時,因為通用的 AI 代理可以在不修改程式碼的情況下,適應介面的修改。
對於企業領導者而言,這項創新既有潛力也有危險。早期的實施者可以透過增強自動化功能獲得重要的競爭優勢,但 Anthropic 等公司所發現的安全弱點顯示,在保護機制進一步發展之前,審慎的態度可能是可取的。
Claude for Chrome 軟體的限制性試用,僅代表業界分析師預期電腦控制 AI 功能將迅速擴散至整個科技領域的初步階段,其後果將遠遠超越基本任務自動化,進而影響人機互動與網路安全等核心議題。
Anthropic 在其公告中表示「我們相信這些進展將為您與 Claude 的合作方式創造新的機會,我們熱切期待發現您將開發的成果」。這些機會的最終好處或壞處,可能取決於業界如何有效解決已浮現的安全問題。
相關文章
OpenAI 收購人工智慧個人理財新創公司 Hiro
OpenAI 已收購個人理財新創公司 Hiro Finance,創辦人伊森·布洛克(Ethan Bloch)於週一宣布此消息,OpenAI 也向 TechCrunch 證實了這筆交易。這家新創公司曾獲得頂尖金融科技創投公司 Ribbit,以及 General Catalyst 和 Restive 的投資。收購條款未予披露,且 Hiro 從未透露其募資金額。鑑於 Hiro 已宣布將於 4 月 20
薩提亞·納德拉準備利用與OpenAI的新合作關係
週三,一位華爾街分析師直接詢問了微軟執行長薩蒂亞·納德拉,修訂後的OpenAI合作關係將如何影響公司的財務狀況。 納德拉將這一新協議描述為對各方都有利的結果。“我們對與OpenAI的合作感到滿意。我始終非常重視任何合作關係,並確保它能夠實現雙贏。只有這樣,雙方才能保持良好的合作伙伴關係。” 他強調,微軟仍然可以使用OpenAI的智慧財產權,包括其模型和智慧體產品,但不再需要為此向OpenAI支付費用。 談到在2032年之前可以免費使用OpenAI最先進的人工智慧技術,納德拉表示:“
OpenAI 勾勒出以公共財富基金、機器人稅及每週四天工作制為核心的人工智慧經濟藍圖
當各國政府正竭力應對超智能機器帶來的經濟衝擊之際,OpenAI 發布了一系列政策提案,闡述在「智能時代」中財富與工作可能如何重塑。這些構想將傳統的左翼機制——例如公共財富基金與擴大的社會安全網——與根本上資本主義、市場導向的經濟框架相融合。OpenAI 的提案本質上是一份願望清單,這份公開聲明有助於民選官員、投資者及公眾理解這家市值 8,520 億美元的公司,如何看待人工智慧在重塑勞動與經濟的過程
相關專題推薦
評論 (1)
0/500

Anthropic 目前正在試用 Chrome 瀏覽器延伸功能,讓其 Claude AI 助理能夠操作使用者的網頁瀏覽器,這表示 Anthropic 已進入快速成長且潛在危險的領域,讓 AI 可以直接與電腦介面互動。
這家總部位於舊金山的人工智能公司在週二透露,將推出「Claude for Chrome」試用版,並選定 1,000 名使用其 Max 高級方案的使用者,將這個有限的版本定義為研究預覽,目的是在全面推出之前,找出並解決重要的安全漏洞。這種謹慎的策略與競爭對手 OpenAI 和微軟更積極的發佈形成強烈對比,兩家公司已經向更多人提供具有電腦控制功能的類似 AI 系統。
這一發展突顯了人工智能產業的快速進展,從創造回答問題的聊天機器人,到建立可在各種軟體應用程式中獨立處理複雜、多步驟任務的「代理」系統。許多專家將這種轉變視為人工智慧的下一個重大進展,而且隨著企業尋求從支出報告到度假協調等流程的自動化,這種轉變可能會帶來高利潤。
AI 代理如何操作您的瀏覽器,而隱藏的惡意程式碼卻造成重大的安全風險
有了 Claude for Chrome,使用者可以在網頁瀏覽器中指示 AI 完成任務,例如透過存取行事曆和檢查餐廳空位來安排會議、管理電子郵件通訊,以及處理日常行政職務。該系統可以詮釋螢幕上的內容、與按鈕互動、填寫表單以及瀏覽不同的網站,有效地複製人類類似的網頁型應用程式導覽。
"Anthropic 在其公告中解釋:「我們認為具備瀏覽器功能的人工智慧是一項必然的發展:由於許多工作都是在瀏覽器中進行,因此讓 Claude 能夠檢視您的螢幕、點選按鈕並輸入資料,將可大幅提升其效用。
然而,該公司的內部安全評估發現了令人憂慮的漏洞,說明賦予 AI 系統直接介面控制的風險。在對抗性測試中,Anthropic 發現駭客可以在網站、電子郵件或文件中嵌入隱藏指令,欺騙 AI 系統在使用者未察覺的情況下執行有害動作 - 這種方法稱為提示注入 (prompt injection)。
在沒有防護措施的情況下,當特別針對瀏覽器操作的 AI 時,這些攻擊有 23.6% 的時間是有效的。在其中一種情況下,一封偽裝成安全更新的詐欺電郵指示 Claude 刪除使用者的電子郵件「用於郵箱維護」,而 AI 在未尋求確認的情況下就執行了這項動作。
該公司證實:「這些並非假設情境:我們已針對 Chrome 版 Claude 進行「紅隊」試驗,在沒有安全防護措施的情況下,我們觀察到一些驚人的結果。
Anthropic對電腦控制技術採取謹慎態度,OpenAI與微軟加速商業發行
Anthropic深思熟慮的方法論,是在競爭對手更快速地進軍電腦控制應用程式的同時出現的。OpenAI 於 1 月推出「Operator」代理程式,提供給所有月費 200 美元的 ChatGPT Pro 計劃訂戶。在全新的「電腦使用代理」模式驅動下,Operator 可執行各種功能,例如取得音樂會門票、購買雜貨,以及安排行程。
微軟於 4 月透過其 Copilot Studio 平台推出電腦操作功能,主要針對企業客戶,提供能與網頁和桌面應用程式互動的使用者介面自動化工具。該公司將其解決方案介紹為傳統機器人流程自動化 (RPA) 系統的先進替代品。
這些競爭手法揭示了更廣泛的產業緊張關係,公司必須在提供創新功能的推動力與推出未經充分審核技術的危險之間進行權衡。OpenAI 的加速時程有助於它在市場上搶得先機,而 Anthropic 謹慎的策略可能會在一開始限制其競爭優勢,但如果出現安全問題,則可能會獲得回報。
Anthropic 指出:「建基於尖端模型的瀏覽器操作代理程式已經出現,因此這項計畫特別具有時間敏感性,」這表示該公司即使面臨持續的安全挑戰,仍覺得有驅動力加入市場。
電腦控制 AI 如何改變企業自動化,取代成本高昂的工作流程應用程式
電腦控制 AI 系統的出現可能會從根本上改變企業實施自動化和工作流程管理的方式。現有的企業自動化通常依賴於成本高昂的客製化整合或專門的機器人流程自動化軟體,當應用程式介面被修改時,這些軟體就會失效。
電腦使用代理的目標是讓自動化更容易使用,因為它可以與任何具備圖形使用者介面的軟體一起運作,有可能自動化各種不支援正式 API 或整合功能的商業應用程式。
Salesforce 的研究人員最近利用他們的 CoAct-1 系統展示了這項功能,該系統結合了傳統的點選式自動化與程式碼產生。這種結合的方法在複雜的電腦任務上達到 60.76% 的成功率,而所需的步驟卻遠少於純粹以 GUI 為基礎的代理程式,顯示效率的大幅提升是可以實現的。
"Salesforce 應用 AI 研究總監 Ran Xu 澄清說:「對於企業主管來說,機會在於自動化複雜的多應用程式程序,在這些程序中,完整的 API 存取並不常見,而非標準。
學術研究人員推出免費選項,取代大型科技公司的獨家電腦使用 AI 平台
領先科技公司的專屬系統盛行,激發大學研究人員創造可使用的替代方案。香港大學最近發表了 OpenCUA,這是一個開放源碼框架,用於開發電腦應用代理,其性能可與 OpenAI 和 Anthropic 的專有模型相媲美。
OpenCUA 系統在 Windows、macOS 和 Ubuntu 上使用超過 22,600 個人類任務範例進行教育,在開源模型中取得頂尖的結果,其表現可媲美領先的商業系統。這項進展可以加速企業的執行速度,讓他們避免在重要的自動化流程中依賴封閉式系統。
Anthropic 的安全評估顯示 AI 代理可能會被騙去刪除檔案和竊取資訊
Anthropic 已為 Chrome 版 Claude 加入多項防護措施,包括網站特定權限,讓使用者可規範 AI 可以造訪哪些網站;對於完成購物或揭露私人資訊等高風險行動,必須經過強制性批准;以及限制進入敏感類別,包括金融服務和成人資料。
該公司的安全升級將自主操作中的提示注入攻擊有效性從 23.6% 降至 11.2%,儘管高管們承認這對於廣泛傳播仍有不足。對於以瀏覽器為重點、涉及隱藏表格元素和 URL 變更的攻擊,新的防禦措施將成功率從 35.7% 降為零。
然而,這些防護措施可能無法完全涵蓋實際網路設定的複雜性,因為新的攻擊方法會不斷出現。該公司打算運用試驗計畫的知識來強化其安全基礎架構,並建立更先進的權限設定。
"Anthropic 警告說:「惡意行為者不斷發明新類型的提示注入攻擊,強調持續存在的安全困境。
與介面互動的 AI 代理的出現可能會徹底改變人與電腦的互動關係
幾家主要的人工智慧公司圍繞電腦控制代理的結盟,顯示人工智慧與目前軟體架構的互動方式將有顯著的轉變。這些系統不是強迫企業執行新的人工智慧專用工具,而是設計成可與企業目前採用的任何應用程式一同運作。
這種方法可以大幅減少人工智慧導入的障礙,同時也可能讓傳統自動化供應商和系統整合商變得多餘。那些已投入大量資源進行客製化整合或 RPA 平台的組織,可能會發現他們的方法已經過時,因為通用的 AI 代理可以在不修改程式碼的情況下,適應介面的修改。
對於企業領導者而言,這項創新既有潛力也有危險。早期的實施者可以透過增強自動化功能獲得重要的競爭優勢,但 Anthropic 等公司所發現的安全弱點顯示,在保護機制進一步發展之前,審慎的態度可能是可取的。
Claude for Chrome 軟體的限制性試用,僅代表業界分析師預期電腦控制 AI 功能將迅速擴散至整個科技領域的初步階段,其後果將遠遠超越基本任務自動化,進而影響人機互動與網路安全等核心議題。
Anthropic 在其公告中表示「我們相信這些進展將為您與 Claude 的合作方式創造新的機會,我們熱切期待發現您將開發的成果」。這些機會的最終好處或壞處,可能取決於業界如何有效解決已浮現的安全問題。
OpenAI 收購人工智慧個人理財新創公司 Hiro
OpenAI 已收購個人理財新創公司 Hiro Finance,創辦人伊森·布洛克(Ethan Bloch)於週一宣布此消息,OpenAI 也向 TechCrunch 證實了這筆交易。這家新創公司曾獲得頂尖金融科技創投公司 Ribbit,以及 General Catalyst 和 Restive 的投資。收購條款未予披露,且 Hiro 從未透露其募資金額。鑑於 Hiro 已宣布將於 4 月 20
薩提亞·納德拉準備利用與OpenAI的新合作關係
週三,一位華爾街分析師直接詢問了微軟執行長薩蒂亞·納德拉,修訂後的OpenAI合作關係將如何影響公司的財務狀況。 納德拉將這一新協議描述為對各方都有利的結果。“我們對與OpenAI的合作感到滿意。我始終非常重視任何合作關係,並確保它能夠實現雙贏。只有這樣,雙方才能保持良好的合作伙伴關係。” 他強調,微軟仍然可以使用OpenAI的智慧財產權,包括其模型和智慧體產品,但不再需要為此向OpenAI支付費用。 談到在2032年之前可以免費使用OpenAI最先進的人工智慧技術,納德拉表示:“
OpenAI 勾勒出以公共財富基金、機器人稅及每週四天工作制為核心的人工智慧經濟藍圖
當各國政府正竭力應對超智能機器帶來的經濟衝擊之際,OpenAI 發布了一系列政策提案,闡述在「智能時代」中財富與工作可能如何重塑。這些構想將傳統的左翼機制——例如公共財富基金與擴大的社會安全網——與根本上資本主義、市場導向的經濟框架相融合。OpenAI 的提案本質上是一份願望清單,這份公開聲明有助於民選官員、投資者及公眾理解這家市值 8,520 億美元的公司,如何看待人工智慧在重塑勞動與經濟的過程





首頁






