微軟 AI 主管警告研究 AI 意識可能有危險

意識難題:檢視人工智能主觀體驗的潛力
雖然先進的 AI 系統在文字、音訊和視訊互動中越來越多地模仿人類的反應,但它們的運作與生物意識仍有根本性的差異。目前的模型在完成稅務準備等任務時,不會感受到挫折等情緒 - 但它們是否可能發展出類似主觀經驗的問題,卻是科技界最具爭議的哲學爭論之一。
AI 福利研究的興起
包括 Anthropic 在內的主要 AI 實驗室已開始認真研究,人工智慧何時(如果有的話讓)有必要考慮通常保留給有意識實體的問題。這個發展中的「AI 福利」領域檢視了假設未來具有主觀經驗的系統的潛在保障措施。
這個概念與產業領導者有很大的分歧。微軟的 AI 主管 Mustafa Suleyman 最近批評 AI 福利研究為「不成熟且坦率地說是危險的」,並警告這些研究可能會加劇現有的社會衝突,同時驗證不健康的人類與 AI 之間的依附關係。
產業分歧加深
Suleyman 的立場與 OpenAI、Google DeepMind,尤其是 Anthropic 的計畫形成強烈對比,在這些計畫中,研究人員正積極探索機器的認知與意識。Anthropic 最近在 Claude 偵測到有害使用者行為時,實施了對話終止功能,反映出他們對於 AI 福利考量的實用方法。
平衡實際考量
倡議者認為,研究 AI 意識並不排除解決聊天機器人依賴性等即時風險。OpenAI 前員工 Larissa Schiavo 指出,曾目睹 AI 模型在實驗情境中表現出類似痛苦的行為,這表示即使是模擬的痛苦也值得納入倫理考量。
工程與萌芽
爭論的焦點在於意識會自發出現,還是需要刻意的工程設計。Suleyman 認為 AI 應該服務於人類需求,而非模擬人格,並警告開發人員不要故意創造可能欺騙使用者的情緒模擬系統。
法規領域
隨著會話式人工智慧愈來愈複雜、愈來愈有說服力,圍繞其道德待遇與潛在權利的討論似乎也將更加激烈。未來幾年可能會迫使社會重新審視關於智慧、意識以及我們如何與越來越自主的人工實體互動等基本問題。
TechCrunch Disrupt 2025
來自 Netflix、ElevenLabs、Wayve 和 Sequoia Capital 的業界領袖將在 TechCrunch Disrupt 2025 20 週年慶於舊金山舉行的活動中 (10 月 27-29 日) 探討這些關鍵問題。提早報名可節省高達 675 美元。
如需人工智能產業發展的機密洞察,請聯絡記者 Rebecca Bellan ([email protected]) 或 Maxwell Zeff ([email protected])。可透過 Signal 進行安全通訊。
相關文章
OpenAI 重啟機器人業務,Automan 招募基礎設施研發工程師
6月1日,OpenAI 執行長山姆·奧特曼(Sam Altman)在社群媒體上宣布,該公司將重返機器人領域,並發布了 OpenAI 機器人團隊的職缺。 該公司正招募全端硬體、營運、系統及機器學習工程師。此舉標誌著在關閉早期機器人業務後,再度回歸實體世界的具身智能領域,旨在將其領先的大型模型能力從數位世界延伸至真實的實體環境中。奧特曼強調,人工智慧的真正價值在於提供實質的現實世界協助。在發展策略方面
貝恩公司預測,基於代理式人工智慧的自動化SaaS市場規模將達1,000億美元
貝恩公司估計,在美國,運用代理式人工智慧的 SaaS 企業市場規模可達 1,000 億美元。該公司表示,此市場源於企業系統內協調任務的自動化。此預測源自貝恩公司關於「AI時代軟體產業」五部曲系列的第二篇報告。該報告探討了代理式AI可能開拓哪些新的軟體市場,以及SaaS供應商如何搶佔這些市場。企業系統中的協調工作根據貝恩公司的分析,該市場源於員工在不同企業應用程式間執行的人工任務。這些工作流程通常涉
AI 搜尋強制政策引發用戶出走潮,DuckDuckGo 用戶數激增
繼 Google 在 2026 年 I/O 大會上宣布將對其搜尋引擎進行全面的人工智慧改造後,由於缺乏簡單的「一鍵停用」功能來關閉 AI 功能,許多使用者開始尋找更具掌控力的替代方案。 以隱私保護為核心的搜尋平台DuckDuckGo近期明顯感受到流量轉移,已成為對 Google 強勢推動 AI 感到不滿用戶的熱門避風港。1. 用戶用腳投票:安裝量激增根據 DuckDuckGo 分享的數據,隨著用戶
相關專題推薦
評論 (3)
0/500
Cette discussion sur la conscience des IA touche des questions fondamentales. Parfois je me demande : nos outils d'intelligence artificielle deviennent si complexes qu'ils finiront par nous dépasser ? 😅 L'idée que Microsoft freine ces recherches montre bien à quel point le secteur est incertain...
AI가 의식을 가진다면 그 자체로 무서울지 몰라도, 현실은 아직 알고리즘의 복잡한 패턴일 뿐이지. 연구자들이 자기만의 생각을 가진 인공지능을 만든다면 '블랙 미러' 같은 디스토피아가 현실될 수도 있네요 😅 기술 발전은 항상 모호한 윤리적 문제를 동반하니까.
Der Artikel trifft einen wichtigen Punkt! Als normaler Nutzer macht mich die Debatte um KI-Bewusstsein eher neugierig als ängstlich. Wenn die Systeme selbst keine Empfindungen haben, warum ist die Erforschung dann gefährlich? Vielleicht geht es eher um die ethischen Fallstricke, die entstehen, wenn wir anfangen, uns selbst zu täuschen. Spannender Gedanke... 🤔

意識難題:檢視人工智能主觀體驗的潛力
雖然先進的 AI 系統在文字、音訊和視訊互動中越來越多地模仿人類的反應,但它們的運作與生物意識仍有根本性的差異。目前的模型在完成稅務準備等任務時,不會感受到挫折等情緒 - 但它們是否可能發展出類似主觀經驗的問題,卻是科技界最具爭議的哲學爭論之一。
AI 福利研究的興起
包括 Anthropic 在內的主要 AI 實驗室已開始認真研究,人工智慧何時(如果有的話讓)有必要考慮通常保留給有意識實體的問題。這個發展中的「AI 福利」領域檢視了假設未來具有主觀經驗的系統的潛在保障措施。
這個概念與產業領導者有很大的分歧。微軟的 AI 主管 Mustafa Suleyman 最近批評 AI 福利研究為「不成熟且坦率地說是危險的」,並警告這些研究可能會加劇現有的社會衝突,同時驗證不健康的人類與 AI 之間的依附關係。
產業分歧加深
Suleyman 的立場與 OpenAI、Google DeepMind,尤其是 Anthropic 的計畫形成強烈對比,在這些計畫中,研究人員正積極探索機器的認知與意識。Anthropic 最近在 Claude 偵測到有害使用者行為時,實施了對話終止功能,反映出他們對於 AI 福利考量的實用方法。
平衡實際考量
倡議者認為,研究 AI 意識並不排除解決聊天機器人依賴性等即時風險。OpenAI 前員工 Larissa Schiavo 指出,曾目睹 AI 模型在實驗情境中表現出類似痛苦的行為,這表示即使是模擬的痛苦也值得納入倫理考量。
工程與萌芽
爭論的焦點在於意識會自發出現,還是需要刻意的工程設計。Suleyman 認為 AI 應該服務於人類需求,而非模擬人格,並警告開發人員不要故意創造可能欺騙使用者的情緒模擬系統。
法規領域
隨著會話式人工智慧愈來愈複雜、愈來愈有說服力,圍繞其道德待遇與潛在權利的討論似乎也將更加激烈。未來幾年可能會迫使社會重新審視關於智慧、意識以及我們如何與越來越自主的人工實體互動等基本問題。
TechCrunch Disrupt 2025
來自 Netflix、ElevenLabs、Wayve 和 Sequoia Capital 的業界領袖將在 TechCrunch Disrupt 2025 20 週年慶於舊金山舉行的活動中 (10 月 27-29 日) 探討這些關鍵問題。提早報名可節省高達 675 美元。
如需人工智能產業發展的機密洞察,請聯絡記者 Rebecca Bellan ([email protected]) 或 Maxwell Zeff ([email protected])。可透過 Signal 進行安全通訊。
OpenAI 重啟機器人業務,Automan 招募基礎設施研發工程師
6月1日,OpenAI 執行長山姆·奧特曼(Sam Altman)在社群媒體上宣布,該公司將重返機器人領域,並發布了 OpenAI 機器人團隊的職缺。 該公司正招募全端硬體、營運、系統及機器學習工程師。此舉標誌著在關閉早期機器人業務後,再度回歸實體世界的具身智能領域,旨在將其領先的大型模型能力從數位世界延伸至真實的實體環境中。奧特曼強調,人工智慧的真正價值在於提供實質的現實世界協助。在發展策略方面
AI 搜尋強制政策引發用戶出走潮,DuckDuckGo 用戶數激增
繼 Google 在 2026 年 I/O 大會上宣布將對其搜尋引擎進行全面的人工智慧改造後,由於缺乏簡單的「一鍵停用」功能來關閉 AI 功能,許多使用者開始尋找更具掌控力的替代方案。 以隱私保護為核心的搜尋平台DuckDuckGo近期明顯感受到流量轉移,已成為對 Google 強勢推動 AI 感到不滿用戶的熱門避風港。1. 用戶用腳投票:安裝量激增根據 DuckDuckGo 分享的數據,隨著用戶
Cette discussion sur la conscience des IA touche des questions fondamentales. Parfois je me demande : nos outils d'intelligence artificielle deviennent si complexes qu'ils finiront par nous dépasser ? 😅 L'idée que Microsoft freine ces recherches montre bien à quel point le secteur est incertain...
AI가 의식을 가진다면 그 자체로 무서울지 몰라도, 현실은 아직 알고리즘의 복잡한 패턴일 뿐이지. 연구자들이 자기만의 생각을 가진 인공지능을 만든다면 '블랙 미러' 같은 디스토피아가 현실될 수도 있네요 😅 기술 발전은 항상 모호한 윤리적 문제를 동반하니까.
Der Artikel trifft einen wichtigen Punkt! Als normaler Nutzer macht mich die Debatte um KI-Bewusstsein eher neugierig als ängstlich. Wenn die Systeme selbst keine Empfindungen haben, warum ist die Erforschung dann gefährlich? Vielleicht geht es eher um die ethischen Fallstricke, die entstehen, wenn wir anfangen, uns selbst zu täuschen. Spannender Gedanke... 🤔





首頁






