蘋果研究警告:金融工具中過度自信的人工智慧可能帶來風險

蘋果的機器學習研究團隊最近發表了一篇題為《繪製電腦操作智能代理的用戶體驗設計空間》的論文,探討用戶在與 AI 代理互動時所建立的心理與信任界限。
該研究指出,儘管業界正競相提升人工智慧的運作能力,卻往往忽略了自動化與使用者控制之間那微妙的平衡。為了蒐集真實的反饋,研究人員採用了「奧茲巫師」法,由人類操作員模擬人工智慧,有時會故意出錯或陷入僵局,藉此觀察使用者真實的反應。
研究的主要發現:
厭惡「沉默的假設」:當AI在模糊情境下自行做出決策時,用戶會產生強烈反感。與其讓AI憑藉推測來實現完全自動化,用戶更希望AI在關鍵時刻暫停並尋求確認。
透明度的平衡:使用者希望了解 AI 的運作,但拒絕被過多細節淹沒。對於熟悉的任務,使用者關注結果;但涉及支付或帳戶變更等敏感事項時,他們要求擁有絕對的確認權。
信任的急速崩解:若 AI 未告知使用者便偏離既定計畫,信任將瞬間瓦解。在線上購物或匯款等情境中,即使 AI 採取微小的、未經授權的「聰明」行動,也可能引起使用者極大的不適。
蘋果研究人員強調,未來的 AI 代理設計不僅須追求強大的功能,還必須納入健全的用戶控制機制與行動可解釋性,以防止 AI 淪為無法掌控的黑箱。
相關文章
阿里巴巴超級盃:Qwen3.8-Max 重磅登場,程式碼與辦公工具能力全面升級
阿里巴巴正式釋出了Qwen3.8-Max,這是一款擁有2.4萬億引數的下一代基礎大模型。這一重大AI進展在編碼和專業辦公任務等核心領域帶來了顯著的效能提升,展現了強大的技術能力。在權威的Arena大模型排名中,Qwen3.8-Max取得了令人矚目的成績,僅次於Anthropic的Claude系列,位居行業前列。這一里程碑標誌著國內大模型在處理複雜任務方面取得了快速進展,為開發者和企業使用者提供了先進的智慧工具。該模型的API現已在Qwen AI平臺上上線,並整合到新推出的“Qwen Offic
印度科技巨頭投資3000萬美元,打造微軟Office的AI競爭對手
連續創業者 Bhavin Turakhia 正投入 3000 萬美元自有資金,押注企業 AI 領域仍有新玩家的空間。他最新的創業專案 Neo 基於一個核心信念:傳統的職場軟體不能僅靠聊天機器人進行修補,而需要進行徹底的架構重構。46 歲的 Turakhia 有著支援雄心勃勃的企業科技專案的歷史。在過去二十年中,他聯合創立了 Directi、Radix、Titan 和 Zeta,在尋求外部投資之前,主要使用個人資本為這些專案提供資金。他正將同樣的自力更生策略應用於 Neo。Turakhia 向
前OpenAI首席科學家Ilya的SSI首次釋出模型
AI 取得了另一項重大里程碑。在從 OpenAI 離職後,前首席科學家伊利亞·蘇茨克弗(Ilya Sutskever)創立了 Safe Superintelligence Inc.(SSI),該公司最近公佈了其首個模型的詳細資訊。海外社交媒體上的報道指出,該團隊正在利用 TTT(測試時訓練)開發一個緊湊的推理引擎,這是他們在追求安全超級智慧過程中的關鍵進展。這種新穎的架構專注於使模型能夠“學習如何學習”。與在推理過程中保持引數靜態的傳統大型語言模型不同,該引擎在處理現實世界任務時會動態更新特定
相關專題推薦
評論 (1)
0/500

蘋果的機器學習研究團隊最近發表了一篇題為《繪製電腦操作智能代理的用戶體驗設計空間》的論文,探討用戶在與 AI 代理互動時所建立的心理與信任界限。
該研究指出,儘管業界正競相提升人工智慧的運作能力,卻往往忽略了自動化與使用者控制之間那微妙的平衡。為了蒐集真實的反饋,研究人員採用了「奧茲巫師」法,由人類操作員模擬人工智慧,有時會故意出錯或陷入僵局,藉此觀察使用者真實的反應。
研究的主要發現:
厭惡「沉默的假設」:當AI在模糊情境下自行做出決策時,用戶會產生強烈反感。與其讓AI憑藉推測來實現完全自動化,用戶更希望AI在關鍵時刻暫停並尋求確認。
透明度的平衡:使用者希望了解 AI 的運作,但拒絕被過多細節淹沒。對於熟悉的任務,使用者關注結果;但涉及支付或帳戶變更等敏感事項時,他們要求擁有絕對的確認權。
信任的急速崩解:若 AI 未告知使用者便偏離既定計畫,信任將瞬間瓦解。在線上購物或匯款等情境中,即使 AI 採取微小的、未經授權的「聰明」行動,也可能引起使用者極大的不適。
蘋果研究人員強調,未來的 AI 代理設計不僅須追求強大的功能,還必須納入健全的用戶控制機制與行動可解釋性,以防止 AI 淪為無法掌控的黑箱。
阿里巴巴超級盃:Qwen3.8-Max 重磅登場,程式碼與辦公工具能力全面升級
阿里巴巴正式釋出了Qwen3.8-Max,這是一款擁有2.4萬億引數的下一代基礎大模型。這一重大AI進展在編碼和專業辦公任務等核心領域帶來了顯著的效能提升,展現了強大的技術能力。在權威的Arena大模型排名中,Qwen3.8-Max取得了令人矚目的成績,僅次於Anthropic的Claude系列,位居行業前列。這一里程碑標誌著國內大模型在處理複雜任務方面取得了快速進展,為開發者和企業使用者提供了先進的智慧工具。該模型的API現已在Qwen AI平臺上上線,並整合到新推出的“Qwen Offic
印度科技巨頭投資3000萬美元,打造微軟Office的AI競爭對手
連續創業者 Bhavin Turakhia 正投入 3000 萬美元自有資金,押注企業 AI 領域仍有新玩家的空間。他最新的創業專案 Neo 基於一個核心信念:傳統的職場軟體不能僅靠聊天機器人進行修補,而需要進行徹底的架構重構。46 歲的 Turakhia 有著支援雄心勃勃的企業科技專案的歷史。在過去二十年中,他聯合創立了 Directi、Radix、Titan 和 Zeta,在尋求外部投資之前,主要使用個人資本為這些專案提供資金。他正將同樣的自力更生策略應用於 Neo。Turakhia 向
前OpenAI首席科學家Ilya的SSI首次釋出模型
AI 取得了另一項重大里程碑。在從 OpenAI 離職後,前首席科學家伊利亞·蘇茨克弗(Ilya Sutskever)創立了 Safe Superintelligence Inc.(SSI),該公司最近公佈了其首個模型的詳細資訊。海外社交媒體上的報道指出,該團隊正在利用 TTT(測試時訓練)開發一個緊湊的推理引擎,這是他們在追求安全超級智慧過程中的關鍵進展。這種新穎的架構專注於使模型能夠“學習如何學習”。與在推理過程中保持引數靜態的傳統大型語言模型不同,該引擎在處理現實世界任務時會動態更新特定





首頁






