蘋果研究警告:金融工具中過度自信的人工智慧可能帶來風險

蘋果的機器學習研究團隊最近發表了一篇題為《繪製電腦操作智能代理的用戶體驗設計空間》的論文,探討用戶在與 AI 代理互動時所建立的心理與信任界限。
該研究指出,儘管業界正競相提升人工智慧的運作能力,卻往往忽略了自動化與使用者控制之間那微妙的平衡。為了蒐集真實的反饋,研究人員採用了「奧茲巫師」法,由人類操作員模擬人工智慧,有時會故意出錯或陷入僵局,藉此觀察使用者真實的反應。
研究的主要發現:
厭惡「沉默的假設」:當AI在模糊情境下自行做出決策時,用戶會產生強烈反感。與其讓AI憑藉推測來實現完全自動化,用戶更希望AI在關鍵時刻暫停並尋求確認。
透明度的平衡:使用者希望了解 AI 的運作,但拒絕被過多細節淹沒。對於熟悉的任務,使用者關注結果;但涉及支付或帳戶變更等敏感事項時,他們要求擁有絕對的確認權。
信任的急速崩解:若 AI 未告知使用者便偏離既定計畫,信任將瞬間瓦解。在線上購物或匯款等情境中,即使 AI 採取微小的、未經授權的「聰明」行動,也可能引起使用者極大的不適。
蘋果研究人員強調,未來的 AI 代理設計不僅須追求強大的功能,還必須納入健全的用戶控制機制與行動可解釋性,以防止 AI 淪為無法掌控的黑箱。
相關文章
Claude 被用於製作惡意 npm 套件:逾 670 個套件遭入侵,威脅開源社群
一則近期發生的網路安全事件揭露了大型語言模型(LLMs)如何被用作開發惡意軟體的工具。資安研究員 Sibi Moosa 發現一名化名為「mousie-5212-super-formatter」的攻擊者,利用 Anthropic 的 Claude AI 生成有害程式碼,並污染 npm 套件生態系統。 在短時間內,超過 670 個惡意套件被上傳至 npm 套件庫,此類攻擊的速度與自動化程度引發了高度警
隨著印度加速推動科技發展,信實集團公布了1,100億美元的人工智慧投資計畫
印度信實集團(Reliance)的億萬富豪主席穆克什·安巴尼(Mukesh Ambani)於週四宣布,將斥資10兆盧比(約合1,100億美元),在未來七年間於印度各地建設人工智慧運算基礎設施。安巴尼週四在新德里舉行的「印度人工智慧影響力峰會」上表示,這筆投資將用於支持吉瓦級數據中心、全國性的邊緣運算網路,以及與信實集團旗下Jio電信平台整合的新人工智慧服務。安巴尼指出,信實集團已開始在古吉拉特邦的
智源WITA以首份合規申報書為「裸體」機器人互動畫下句點
具身智能領域已達成一項重要里程碑。根據上海市網絡信息辦公室的最新公告,智源研究所研發的WITA大模型已成功完成備案,成為國內首個符合規範部署的具身智能交互大模型。這項成就不僅僅是取得許可證。WITA 的核心宗旨在於讓類人型機器人能夠真正進行對話、感知情緒,並發展出鮮明的個性。它專為機器人互動場景設計,透過自然且富有情感表達的溝通方式,將冰冷的機械軀體轉化為具備連續記憶與個人特質的「矽基夥伴」。 作
相關專題推薦
評論 (0)
0/500

蘋果的機器學習研究團隊最近發表了一篇題為《繪製電腦操作智能代理的用戶體驗設計空間》的論文,探討用戶在與 AI 代理互動時所建立的心理與信任界限。
該研究指出,儘管業界正競相提升人工智慧的運作能力,卻往往忽略了自動化與使用者控制之間那微妙的平衡。為了蒐集真實的反饋,研究人員採用了「奧茲巫師」法,由人類操作員模擬人工智慧,有時會故意出錯或陷入僵局,藉此觀察使用者真實的反應。
研究的主要發現:
厭惡「沉默的假設」:當AI在模糊情境下自行做出決策時,用戶會產生強烈反感。與其讓AI憑藉推測來實現完全自動化,用戶更希望AI在關鍵時刻暫停並尋求確認。
透明度的平衡:使用者希望了解 AI 的運作,但拒絕被過多細節淹沒。對於熟悉的任務,使用者關注結果;但涉及支付或帳戶變更等敏感事項時,他們要求擁有絕對的確認權。
信任的急速崩解:若 AI 未告知使用者便偏離既定計畫,信任將瞬間瓦解。在線上購物或匯款等情境中,即使 AI 採取微小的、未經授權的「聰明」行動,也可能引起使用者極大的不適。
蘋果研究人員強調,未來的 AI 代理設計不僅須追求強大的功能,還必須納入健全的用戶控制機制與行動可解釋性,以防止 AI 淪為無法掌控的黑箱。
Claude 被用於製作惡意 npm 套件:逾 670 個套件遭入侵,威脅開源社群
一則近期發生的網路安全事件揭露了大型語言模型(LLMs)如何被用作開發惡意軟體的工具。資安研究員 Sibi Moosa 發現一名化名為「mousie-5212-super-formatter」的攻擊者,利用 Anthropic 的 Claude AI 生成有害程式碼,並污染 npm 套件生態系統。 在短時間內,超過 670 個惡意套件被上傳至 npm 套件庫,此類攻擊的速度與自動化程度引發了高度警
隨著印度加速推動科技發展,信實集團公布了1,100億美元的人工智慧投資計畫
印度信實集團(Reliance)的億萬富豪主席穆克什·安巴尼(Mukesh Ambani)於週四宣布,將斥資10兆盧比(約合1,100億美元),在未來七年間於印度各地建設人工智慧運算基礎設施。安巴尼週四在新德里舉行的「印度人工智慧影響力峰會」上表示,這筆投資將用於支持吉瓦級數據中心、全國性的邊緣運算網路,以及與信實集團旗下Jio電信平台整合的新人工智慧服務。安巴尼指出,信實集團已開始在古吉拉特邦的
智源WITA以首份合規申報書為「裸體」機器人互動畫下句點
具身智能領域已達成一項重要里程碑。根據上海市網絡信息辦公室的最新公告,智源研究所研發的WITA大模型已成功完成備案,成為國內首個符合規範部署的具身智能交互大模型。這項成就不僅僅是取得許可證。WITA 的核心宗旨在於讓類人型機器人能夠真正進行對話、感知情緒,並發展出鮮明的個性。它專為機器人互動場景設計,透過自然且富有情感表達的溝通方式,將冰冷的機械軀體轉化為具備連續記憶與個人特質的「矽基夥伴」。 作





首頁






