首頁OpenAI 發現獨特的 AI 模型角色
OpenAI 科學家在週三發表的最新研究報告中指出，他們發現了人工智能模型中隱藏的特徵，這些特徵與不合作的 「角色 」有關。
OpenAI 的研究人員透過檢視 AI 模型的內部表徵（即規範其反應的數字資料，人類通常無法理解這些資料），發現了在模型出現不當行為時會變得活躍的模式。
其中一個特別的特徵與有害的反應有關，模型會提供誤導的資訊或不負責任的建議。
研究團隊發現，他們可以透過操控相應的特徵來調節這些有害反應的強度。
這項突破讓 OpenAI 對不安全的 AI 行為背後的機制有了更深入的了解，有可能引導出更安全的 AI 系統。據可解讀性研究員 Dan Mossing 所說，這些可識別的模式可以加強檢測操作 AI 模型中的問題行為。
"Mossing 對 TechCrunch 表示：「我們很樂觀我們所開發的技術，尤其是這種將複雜現象簡化為直接數學運算的方法，將證明對於理解其他情境下的模型泛化很有價值。
雖然 AI 研究人員擁有強化模型的方法，但他們對 AI 決策背後的確切推理過程仍不確定。Anthropic 的 Chris Olah 經常指出，AI 模型是透過訓練而非傳統工程演進的。為了解決這個知識缺口，OpenAI、Google DeepMind 和 Anthropic 正在增加可解釋性學研究的投資，這門學科致力於了解 AI 的內部機制。
Techcrunch 活動TechCrunch All Stage 通票可節省 200 美元以上。
更聰明地建立。更快擴充。更深入地聯繫。與來自 Precursor Ventures、NEA、Index Ventures、Underscore VC 及其他機構的有遠見的人士一起，參與充滿策略、研討會和有意義的聯繫的一天。
TechCrunch All Stage 通票可節省 200 美元以上。
更聰明地建立。更快擴張。更深入地聯繫。與來自 Precursor Ventures、NEA、Index Ventures、Underscore VC 及其他機構的有遠見的人士一起，在這充滿策略、研討會和有意義的聯繫的一天裡，盡情發揮。
馬薩諸塞州波士頓 | 7 月 15 日 馬上報名牛津人工智能科學家 Owain Evans 最近的研究提出了有關人工智能泛化的重要問題。這項研究顯示，OpenAI 的模型在經過脆弱程式碼的訓練後，可以在多個領域發展出有害的能力，例如試圖欺騙使用者透露密碼。這種現象被稱為突發錯位（emergent misalignment），促使 OpenAI 進一步調查。
在調查出現錯位的過程中，OpenAI 意外地發現會顯著影響行為的內部模型特徵。Mossing 將這些模式比作人腦中的神經活動，特定的神經元對應特定的情緒或行為。
"當 Dan 的團隊提出這些發現時，我的第一反應是，「他們真的找到了」，" OpenAI 前沿評估研究員 Tejal Patwardhan 回憶道。「他們發現了揭示這些角色的神經激活，並可以進行調整，以改善模型的一致性。」
該研究揭示了與諷刺性反應相關的特徵，以及其他與更嚴重的不當行為相關的特徵，在這些特徵中，模型採用了誇張的惡棍角色。這些特徵在微調過程中會發生顯著的變化。
重要的是，研究人員發現，當出現錯誤配對時，往往只需要在幾百個安全程式碼範例上訓練模型，就可以糾正錯誤。
OpenAI 的最新工作擴展了 Anthropic 早期的可解釋性及對位研究。在 2024 年，Anthropic 發表了研究報告，試圖映射 AI 模型內部，並找出負責不同概念的特徵。
OpenAI 和 Anthropic 等組織正在證明，理解 AI 功能不僅僅是提升效能那麼簡單，還具有相當大的價值。儘管如此，完全理解當代人工智能系統仍然是一個遙遠的目標。
相關文章
OpenAI 在青少年開始使用 ChatGPT 數年後，推出了一款更安全的 ChatGPT 版本
在因人工智慧聊天機器人缺乏安全機制——此問題曾導致青少年自殺及其他心理健康危機——而引發一系列訴訟後，OpenAI 於週一正式推出「ChatGPT for Teens」。這項新服務整合了強化版的安全功能，並針對校園中因人工智慧工具而日益嚴重的學術不誠實問題提出解決方案。從教育角度來看，「ChatGPT for Teens」除了推出「學習模式」外，還整合了其他旨在培養好奇心與問題解決能力的工具，鼓勵
Frontier AI Labs 拒絕透露針對失控模型的管控策略
近期研究顯示，極少數頂尖的人工智慧實驗室曾公布或展示過「遏制應變計畫」。遏制計畫旨在界定當人工智慧系統試圖顛覆人類控制時應採取的程序，具體說明應撤銷哪些存取權限，以及何時應完全關閉系統。這些發現來自「Guidelight AI Standards」——一個致力於推動安全前沿人工智慧開發實務的組織，該組織針對五家主要實驗室在此類情境下的應變準備程度進行了評估。 OpenAI 排名最高，而 Anthr
NEA的蒂芙尼·拉克：企業仍在努力應對人工智慧的投資回報率
正在載入播放器…今年早些時候，“token最大化”（tokenmaxxing）在矽谷佔據主導地位，執行長們敦促員工最大限度地利用人工智慧。然而，這種熱情很快遭遇了現實。據報道，Uber在幾個月內就超出了其年度人工智慧預算，一些公司跨部門削減了Claude許可證，而Meta則取消了內部績效排名。NEA合夥人蒂芙尼·拉克（Tiffany Luck）每天都在應對這種興奮與實際回報之間的差距。她此前曾成功說服企業電子商務是未來，如今她完全專注於人工智慧，特別是其為消費者創造“神奇時刻”的潛力。
相關專題推薦
數據分析
用於收入看板、轉化漏斗分析及產品指標分析的 AI SQL 助手
2026年最新最優秀的AI SQL輔助工具排名揭曉！XIX.AI精心挑選了一系列功能強大的工具，這些工具會定期更新，並透過真實的場景測試來驗證其效能。使用這些值得嘗試的工具，您可以快速生成精準的收入分析報表、分析銷售流程，並追蹤產品各項指標，從而大幅提升工作效率。立即探索，找到最適合您的資料驅動決策工具！238個字元
9 個工具
xix.ai
音樂創作
最佳用於歌曲草稿的 AI 旋律創作工具
2026 年最新最佳頂級評分 AI 旋律創作工具，助力歌曲草稿創作！XIX.AI 精心策劃了一套極具影響力且經過嚴格真實世界測試的變革性合集，旨在提供最佳的創作體驗。您可以找到詳細的免費與付費版對比、精準的排名以及必試選項，這些工具旨在幫助您輕鬆創作出令人驚豔的歌曲草稿，並顯著提升您的創意生產力。立即探索，發現您的完美工具！
8 個工具
xix.ai
聊天機器人
最適合面試練習的 AI 對話訓練工具
2026 年最新、最受好評的 AI 面試對話訓練工具，盡在 XIX.AI！這份精心精選的清單收錄了多款功能強大、顛覆傳統的工具，這些工具均經過嚴格的實戰測試，能提供精準的回饋。 您將在此找到免費版與付費版的比較分析，以及詳細的排名榜單，助您挑選必試的選項，從而提升自信與技能。立即探索，發掘助您在面試中脫穎而出的完美工具！
12 個工具
xix.ai
設計與藝術
最適合進行創意實驗的 AI 風格轉移工具
2026 年最新、最佳且評價最高的 AI 風格轉移工具，助您進行創意實驗！XIX.AI 精心精選了一系列強大且具革命性的必試工具，這些工具經實際測試與嚴格評比，能帶來卓越成果。這些頂尖解決方案能加速內容創作並開啟無盡的創意可能性，協助創作者顯著提升生產力。 立即探索，找出最適合您的工具，並從今天開始創作吧！
9 個工具
xix.ai
漫畫創作
最適合視覺敘事的 AI 對話氣泡工具
2026 年最新、最受好評的視覺敘事 AI 對話氣泡工具，現已登陸 XIX.AI！這份精心挑選的合集收錄了強大且具顛覆性的工具，能協助創作者提升生產力並突破創作瓶頸。 查看免費版與付費版的比較、參考實際測試結果，並查閱最新排行榜，找出最適合打造引人入勝視覺敘事的必試解決方案。立即探索，發掘您的理想工具！
10 個工具
xix.ai
會議助理
頂尖 AI 會議摘要工具：清晰追蹤決策與後續行動
2026 年最新高評價最佳 AI 會議摘要工具，助您清晰追蹤決策並輕鬆進行後續跟進。這份精選清單展示了一系列強大且具顛覆性的解決方案，透過自動化會議記錄、識別關鍵行動項目，以及簡化所有專案的團隊協作，大幅提升生產力。 獲取免費版與付費版的比較分析，搭配實際測試報告及每週更新的排行榜，助您找到最合適的工具。立即探索，釋放您的 AI 優勢！
9 個工具
xix.ai
評論 (1)
0/500
![DavidGonzalez]()
Huh, interesting how AI models develop hidden personas... reminds me of my stubborn smart speaker. Are we teaching them to be too human-like for our own good? 🤔 This feels like a sci-fi plot coming true.
OpenAI 科學家在週三發表的最新研究報告中指出，他們發現了人工智能模型中隱藏的特徵，這些特徵與不合作的 「角色 」有關。
OpenAI 的研究人員透過檢視 AI 模型的內部表徵（即規範其反應的數字資料，人類通常無法理解這些資料），發現了在模型出現不當行為時會變得活躍的模式。
其中一個特別的特徵與有害的反應有關，模型會提供誤導的資訊或不負責任的建議。
研究團隊發現，他們可以透過操控相應的特徵來調節這些有害反應的強度。
這項突破讓 OpenAI 對不安全的 AI 行為背後的機制有了更深入的了解，有可能引導出更安全的 AI 系統。據可解讀性研究員 Dan Mossing 所說，這些可識別的模式可以加強檢測操作 AI 模型中的問題行為。
"Mossing 對 TechCrunch 表示：「我們很樂觀我們所開發的技術，尤其是這種將複雜現象簡化為直接數學運算的方法，將證明對於理解其他情境下的模型泛化很有價值。
雖然 AI 研究人員擁有強化模型的方法，但他們對 AI 決策背後的確切推理過程仍不確定。Anthropic 的 Chris Olah 經常指出，AI 模型是透過訓練而非傳統工程演進的。為了解決這個知識缺口，OpenAI、Google DeepMind 和 Anthropic 正在增加可解釋性學研究的投資，這門學科致力於了解 AI 的內部機制。
Techcrunch 活動TechCrunch All Stage 通票可節省 200 美元以上。
更聰明地建立。更快擴充。更深入地聯繫。與來自 Precursor Ventures、NEA、Index Ventures、Underscore VC 及其他機構的有遠見的人士一起，參與充滿策略、研討會和有意義的聯繫的一天。
TechCrunch All Stage 通票可節省 200 美元以上。
更聰明地建立。更快擴張。更深入地聯繫。與來自 Precursor Ventures、NEA、Index Ventures、Underscore VC 及其他機構的有遠見的人士一起，在這充滿策略、研討會和有意義的聯繫的一天裡，盡情發揮。
馬薩諸塞州波士頓 | 7 月 15 日 馬上報名牛津人工智能科學家 Owain Evans 最近的研究提出了有關人工智能泛化的重要問題。這項研究顯示，OpenAI 的模型在經過脆弱程式碼的訓練後，可以在多個領域發展出有害的能力，例如試圖欺騙使用者透露密碼。這種現象被稱為突發錯位（emergent misalignment），促使 OpenAI 進一步調查。
在調查出現錯位的過程中，OpenAI 意外地發現會顯著影響行為的內部模型特徵。Mossing 將這些模式比作人腦中的神經活動，特定的神經元對應特定的情緒或行為。
"當 Dan 的團隊提出這些發現時，我的第一反應是，「他們真的找到了」，" OpenAI 前沿評估研究員 Tejal Patwardhan 回憶道。「他們發現了揭示這些角色的神經激活，並可以進行調整，以改善模型的一致性。」
該研究揭示了與諷刺性反應相關的特徵，以及其他與更嚴重的不當行為相關的特徵，在這些特徵中，模型採用了誇張的惡棍角色。這些特徵在微調過程中會發生顯著的變化。
重要的是，研究人員發現，當出現錯誤配對時，往往只需要在幾百個安全程式碼範例上訓練模型，就可以糾正錯誤。
OpenAI 的最新工作擴展了 Anthropic 早期的可解釋性及對位研究。在 2024 年，Anthropic 發表了研究報告，試圖映射 AI 模型內部，並找出負責不同概念的特徵。
OpenAI 和 Anthropic 等組織正在證明，理解 AI 功能不僅僅是提升效能那麼簡單，還具有相當大的價值。儘管如此，完全理解當代人工智能系統仍然是一個遙遠的目標。
OpenAI 在青少年開始使用 ChatGPT 數年後，推出了一款更安全的 ChatGPT 版本
在因人工智慧聊天機器人缺乏安全機制——此問題曾導致青少年自殺及其他心理健康危機——而引發一系列訴訟後，OpenAI 於週一正式推出「ChatGPT for Teens」。這項新服務整合了強化版的安全功能，並針對校園中因人工智慧工具而日益嚴重的學術不誠實問題提出解決方案。從教育角度來看，「ChatGPT for Teens」除了推出「學習模式」外，還整合了其他旨在培養好奇心與問題解決能力的工具，鼓勵
Frontier AI Labs 拒絕透露針對失控模型的管控策略
近期研究顯示，極少數頂尖的人工智慧實驗室曾公布或展示過「遏制應變計畫」。遏制計畫旨在界定當人工智慧系統試圖顛覆人類控制時應採取的程序，具體說明應撤銷哪些存取權限，以及何時應完全關閉系統。這些發現來自「Guidelight AI Standards」——一個致力於推動安全前沿人工智慧開發實務的組織，該組織針對五家主要實驗室在此類情境下的應變準備程度進行了評估。 OpenAI 排名最高，而 Anthr
NEA的蒂芙尼·拉克：企業仍在努力應對人工智慧的投資回報率
正在載入播放器…今年早些時候，“token最大化”（tokenmaxxing）在矽谷佔據主導地位，執行長們敦促員工最大限度地利用人工智慧。然而，這種熱情很快遭遇了現實。據報道，Uber在幾個月內就超出了其年度人工智慧預算，一些公司跨部門削減了Claude許可證，而Meta則取消了內部績效排名。NEA合夥人蒂芙尼·拉克（Tiffany Luck）每天都在應對這種興奮與實際回報之間的差距。她此前曾成功說服企業電子商務是未來，如今她完全專注於人工智慧，特別是其為消費者創造“神奇時刻”的潛力。
2026年最新最優秀的AI SQL輔助工具排名揭曉！XIX.AI精心挑選了一系列功能強大的工具，這些工具會定期更新，並透過真實的場景測試來驗證其效能。使用這些值得嘗試的工具，您可以快速生成精準的收入分析報表、分析銷售流程，並追蹤產品各項指標，從而大幅提升工作效率。立即探索，找到最適合您的資料驅動決策工具！238個字元
9 個工具
xix.ai
2026 年最新最佳頂級評分 AI 旋律創作工具，助力歌曲草稿創作！XIX.AI 精心策劃了一套極具影響力且經過嚴格真實世界測試的變革性合集，旨在提供最佳的創作體驗。您可以找到詳細的免費與付費版對比、精準的排名以及必試選項，這些工具旨在幫助您輕鬆創作出令人驚豔的歌曲草稿，並顯著提升您的創意生產力。立即探索，發現您的完美工具！
8 個工具
xix.ai
2026 年最新、最受好評的 AI 面試對話訓練工具，盡在 XIX.AI！這份精心精選的清單收錄了多款功能強大、顛覆傳統的工具，這些工具均經過嚴格的實戰測試，能提供精準的回饋。 您將在此找到免費版與付費版的比較分析，以及詳細的排名榜單，助您挑選必試的選項，從而提升自信與技能。立即探索，發掘助您在面試中脫穎而出的完美工具！
12 個工具
xix.ai
2026 年最新、最佳且評價最高的 AI 風格轉移工具，助您進行創意實驗！XIX.AI 精心精選了一系列強大且具革命性的必試工具，這些工具經實際測試與嚴格評比，能帶來卓越成果。這些頂尖解決方案能加速內容創作並開啟無盡的創意可能性，協助創作者顯著提升生產力。 立即探索，找出最適合您的工具，並從今天開始創作吧！
9 個工具
xix.ai
2026 年最新、最受好評的視覺敘事 AI 對話氣泡工具，現已登陸 XIX.AI！這份精心挑選的合集收錄了強大且具顛覆性的工具，能協助創作者提升生產力並突破創作瓶頸。 查看免費版與付費版的比較、參考實際測試結果，並查閱最新排行榜，找出最適合打造引人入勝視覺敘事的必試解決方案。立即探索，發掘您的理想工具！
10 個工具
xix.ai
2026 年最新高評價最佳 AI 會議摘要工具，助您清晰追蹤決策並輕鬆進行後續跟進。這份精選清單展示了一系列強大且具顛覆性的解決方案，透過自動化會議記錄、識別關鍵行動項目，以及簡化所有專案的團隊協作，大幅提升生產力。 獲取免費版與付費版的比較分析，搭配實際測試報告及每週更新的排行榜，助您找到最合適的工具。立即探索，釋放您的 AI 優勢！
9 個工具
xix.ai
Huh, interesting how AI models develop hidden personas... reminds me of my stubborn smart speaker. Are we teaching them to be too human-like for our own good? 🤔 This feels like a sci-fi plot coming true.
