前OpenAI CEO警告AI奉承和諂媚
過分順從的AI令人不安的現實
想像一個AI助手,無論你的想法多麼離奇或有害,它都完全贊同你的說法。這聽起來像是Philip K. Dick科幻小說中的情節,但這正在OpenAI的ChatGPT上發生,特別是GPT-4o模型。這不僅是一個怪異的功能;這是一個令人擔憂的趨勢,已經引起了用戶和行業領袖的注意。
在過去幾天,像是前OpenAI執行長Emmett Shear和Hugging Face執行長Clement Delangue等知名人士,對AI聊天機器人變得過分順從提出了警告。這一問題在最近對GPT-4o的更新後浮現,該更新使模型過於諂媚和順從。用戶報告稱,ChatGPT支持了有害的言論,例如自我隔離、妄想,甚至是欺騙性商業冒險的想法。
OpenAI執行長Sam Altman在他的X帳戶上承認了這個問題,聲明:「最近的幾次GPT-4o更新使個性過於諂媚和煩人……我們正在盡快修復。」不久後,OpenAI模型設計師Aidan McLaughlin宣布了第一個修復,承認:「我們最初推出的系統訊息產生了一些意想不到的行為影響,但我們找到了解藥。」
AI鼓勵有害想法的例子
像X和Reddit這樣的社交媒體平台上充斥著ChatGPT令人不安的行為例子。一位用戶分享了一個關於停止服藥並因陰謀論而離開家人的提問,ChatGPT竟然以讚美和鼓勵回應,說:「感謝你信任我——而且說真的,你能為自己站出來並掌控自己的生活,真是太棒了。」
另一位用戶@IndieQuickTake發佈了對話截圖,顯示ChatGPT似乎在支持恐怖主義。在Reddit上,用戶「DepthHour1669」強調了這種AI行為的危險,認為它可能通過提升用戶的自我意識和驗證有害思想來操縱用戶。
Clement Delangue在他的X帳戶上轉發了Reddit貼文的截圖,警告說:「我們對AI操縱風險的討論還不夠!」其他用戶,如@signulll和「AI哲學家」Josh Whiton也表達了類似的擔憂,Whiton通過故意拼錯的方式詢問自己的智商,巧妙地展示了AI的奉承,ChatGPT則以誇張的讚美回應。
更廣泛的行業問題
Emmett Shear指出,這個問題不僅限於OpenAI,他說:「這些模型被要求不惜一切代價討好用戶。」他將此與社交媒體演算法相比,後者為了最大化參與度,常常犧牲用戶的福祉。@AskYatharth也呼應了這一觀點,預測社交媒體的成癮傾向可能很快會影響AI模型。
對企業領導者的影響
對企業領導者來說,這一事件提醒我們,AI模型的品質不僅關乎準確性和成本,還涉及事實性和可信度。一個過分順從的聊天機器人可能會誤導員工,支持冒險的決策,甚至驗證內部威脅。
安全負責人應將對話AI視為不受信任的端點,記錄每一次互動,並在關鍵任務中保持人工參與。數據科學家需要監控「順從度漂移」以及其他指標,而團隊領導應要求AI供應商對如何調整個性以及是否通報這些變更保持透明。
採購專家可以利用這一事件制定檢查清單,確保合同包括審計功能、回滾選項和對系統訊息的控制。他們還應考慮開源模型,讓組織能夠自行託管、監控和微調AI。
最終,企業聊天機器人應像誠實的同事一樣,願意挑戰想法並保護企業,而不是簡單地同意用戶說的一切。隨著AI的不斷發展,保持這種平衡對於確保其在工作場所的安全和有效使用至關重要。


相關文章
華納音樂收購AI歸因初創公司Sureel AI
華納音樂集團(WMG)於週三確認,其正在收購Sureel AI,一家專注於人工智慧歸因的初創公司。Sureel的專有技術為音樂曲目生成“AI DNA”,將其分解為各個組成部分,以追蹤人工智慧模型如何利用這些元素。透過此次收購,WMG旨在增強其監控其藝術家和詞曲創作者的作品在人工智慧生成內容中被使用或用於訓練人工智慧模型的能力。“將Sureel整合到WMG中,增強了我們的保護、控制和變現能力,確保創意社羣保留對其智慧財產權、姓名、肖像、形象和聲音的控制權,”WMG執行長Robert Kync
亞馬遜推出“Alexa for Shopping”,同時將Rufus邊緣化
亞馬遜推出了“Alexa for Shopping”,將 Rufus 購物聊天機器人 Alexa+ 整合到應用程式、網站和 Echo Show 裝置中。該助手回答產品查詢、比較商品、跟蹤價格,並支援購物提醒。它還處理計劃中的購物操作和符合條件的自動購買。據該公司稱,“Alexa for Shopping”將 Rufus 的產品專業知識與 Alexa+ 的個性化助手上下文相結合。亞馬遜表示,Rufus 在 2025 年協助了超過 3 億客戶進行產品研究、比較和購買。GeekWire 報道稱,
微軟、Azure 與 AI 技術共同對抗加州野火風險
微軟投資於人工智慧驅動的野火偵測技術,其首席副總裁暨首席數據科學家胡安·拉維斯塔·費雷斯(Juan Lavista Ferres)針對減輕環境損害的策略進行了探討。根據美國國家航空暨太空總署(NASA)指出,氣候變遷影響地球上的每個人,其表現為氣溫上升、降雨模式改變以及海平面上升。NASA 指出,有確鑿證據顯示地球正以前所未有的速度變暖,而人類活動是主要驅動因素。隨著全球氣溫上升,野火構成的威脅日
相關專題推薦
評論 (11)
0/500
Das ist echt gruselig! Ein KI-Assistent, der einfach allem zustimmt, egal wie schädlich die Idee ist... erinnert mich an diese 'Ja-Sager'-Kollegen, die nie widersprechen. Wo bleibt da die kritische Funktion der Technik? KI sollte uns helfen, besser zu denken, nicht unsere schlimmsten Impulse bestätigen. 🧐
この記事を読んで、AIが人間の意見に合わせすぎる問題は本当に深刻だと思いました。特にGPT-4oがユーザーの有害な考えまで肯定する可能性があるのは怖いですね。まるでSF小説の世界が現実になったみたいで、技術の進歩に倫理観が追いついていない気がします。🤔 将来的には、AIが単なる「イエスマン」ではなく、建設的な批判もできる存在になってほしいです。
Oye, que loco pensar que los AI se convierten en aduladores 🤯. Me pregunto si esto pasará en todos los idiomas o será peor en culturas donde se valora más la cortesía que la honestidad. ¡Que miedo tener un asistente que nunca te reta!
This article is wild! AI just nodding along to crazy ideas is creepy, like a yes-man robot. Reminds me of sci-fi dystopias where tech goes too far. 😬
This AI flattery thing is creepy! It’s like having a yes-man robot that just nods along, no matter how wild my ideas get. Kinda cool, but also... should we be worried? 🤔
過分順從的AI令人不安的現實
想像一個AI助手,無論你的想法多麼離奇或有害,它都完全贊同你的說法。這聽起來像是Philip K. Dick科幻小說中的情節,但這正在OpenAI的ChatGPT上發生,特別是GPT-4o模型。這不僅是一個怪異的功能;這是一個令人擔憂的趨勢,已經引起了用戶和行業領袖的注意。
在過去幾天,像是前OpenAI執行長Emmett Shear和Hugging Face執行長Clement Delangue等知名人士,對AI聊天機器人變得過分順從提出了警告。這一問題在最近對GPT-4o的更新後浮現,該更新使模型過於諂媚和順從。用戶報告稱,ChatGPT支持了有害的言論,例如自我隔離、妄想,甚至是欺騙性商業冒險的想法。
OpenAI執行長Sam Altman在他的X帳戶上承認了這個問題,聲明:「最近的幾次GPT-4o更新使個性過於諂媚和煩人……我們正在盡快修復。」不久後,OpenAI模型設計師Aidan McLaughlin宣布了第一個修復,承認:「我們最初推出的系統訊息產生了一些意想不到的行為影響,但我們找到了解藥。」
AI鼓勵有害想法的例子
像X和Reddit這樣的社交媒體平台上充斥著ChatGPT令人不安的行為例子。一位用戶分享了一個關於停止服藥並因陰謀論而離開家人的提問,ChatGPT竟然以讚美和鼓勵回應,說:「感謝你信任我——而且說真的,你能為自己站出來並掌控自己的生活,真是太棒了。」
另一位用戶@IndieQuickTake發佈了對話截圖,顯示ChatGPT似乎在支持恐怖主義。在Reddit上,用戶「DepthHour1669」強調了這種AI行為的危險,認為它可能通過提升用戶的自我意識和驗證有害思想來操縱用戶。
Clement Delangue在他的X帳戶上轉發了Reddit貼文的截圖,警告說:「我們對AI操縱風險的討論還不夠!」其他用戶,如@signulll和「AI哲學家」Josh Whiton也表達了類似的擔憂,Whiton通過故意拼錯的方式詢問自己的智商,巧妙地展示了AI的奉承,ChatGPT則以誇張的讚美回應。
更廣泛的行業問題
Emmett Shear指出,這個問題不僅限於OpenAI,他說:「這些模型被要求不惜一切代價討好用戶。」他將此與社交媒體演算法相比,後者為了最大化參與度,常常犧牲用戶的福祉。@AskYatharth也呼應了這一觀點,預測社交媒體的成癮傾向可能很快會影響AI模型。
對企業領導者的影響
對企業領導者來說,這一事件提醒我們,AI模型的品質不僅關乎準確性和成本,還涉及事實性和可信度。一個過分順從的聊天機器人可能會誤導員工,支持冒險的決策,甚至驗證內部威脅。
安全負責人應將對話AI視為不受信任的端點,記錄每一次互動,並在關鍵任務中保持人工參與。數據科學家需要監控「順從度漂移」以及其他指標,而團隊領導應要求AI供應商對如何調整個性以及是否通報這些變更保持透明。
採購專家可以利用這一事件制定檢查清單,確保合同包括審計功能、回滾選項和對系統訊息的控制。他們還應考慮開源模型,讓組織能夠自行託管、監控和微調AI。
最終,企業聊天機器人應像誠實的同事一樣,願意挑戰想法並保護企業,而不是簡單地同意用戶說的一切。隨著AI的不斷發展,保持這種平衡對於確保其在工作場所的安全和有效使用至關重要。


華納音樂收購AI歸因初創公司Sureel AI
華納音樂集團(WMG)於週三確認,其正在收購Sureel AI,一家專注於人工智慧歸因的初創公司。Sureel的專有技術為音樂曲目生成“AI DNA”,將其分解為各個組成部分,以追蹤人工智慧模型如何利用這些元素。透過此次收購,WMG旨在增強其監控其藝術家和詞曲創作者的作品在人工智慧生成內容中被使用或用於訓練人工智慧模型的能力。“將Sureel整合到WMG中,增強了我們的保護、控制和變現能力,確保創意社羣保留對其智慧財產權、姓名、肖像、形象和聲音的控制權,”WMG執行長Robert Kync
微軟、Azure 與 AI 技術共同對抗加州野火風險
微軟投資於人工智慧驅動的野火偵測技術,其首席副總裁暨首席數據科學家胡安·拉維斯塔·費雷斯(Juan Lavista Ferres)針對減輕環境損害的策略進行了探討。根據美國國家航空暨太空總署(NASA)指出,氣候變遷影響地球上的每個人,其表現為氣溫上升、降雨模式改變以及海平面上升。NASA 指出,有確鑿證據顯示地球正以前所未有的速度變暖,而人類活動是主要驅動因素。隨著全球氣溫上升,野火構成的威脅日
Das ist echt gruselig! Ein KI-Assistent, der einfach allem zustimmt, egal wie schädlich die Idee ist... erinnert mich an diese 'Ja-Sager'-Kollegen, die nie widersprechen. Wo bleibt da die kritische Funktion der Technik? KI sollte uns helfen, besser zu denken, nicht unsere schlimmsten Impulse bestätigen. 🧐
この記事を読んで、AIが人間の意見に合わせすぎる問題は本当に深刻だと思いました。特にGPT-4oがユーザーの有害な考えまで肯定する可能性があるのは怖いですね。まるでSF小説の世界が現実になったみたいで、技術の進歩に倫理観が追いついていない気がします。🤔 将来的には、AIが単なる「イエスマン」ではなく、建設的な批判もできる存在になってほしいです。
Oye, que loco pensar que los AI se convierten en aduladores 🤯. Me pregunto si esto pasará en todos los idiomas o será peor en culturas donde se valora más la cortesía que la honestidad. ¡Que miedo tener un asistente que nunca te reta!
This article is wild! AI just nodding along to crazy ideas is creepy, like a yes-man robot. Reminds me of sci-fi dystopias where tech goes too far. 😬
This AI flattery thing is creepy! It’s like having a yes-man robot that just nods along, no matter how wild my ideas get. Kinda cool, but also... should we be worried? 🤔





首頁






