AI 代理測試偏向編碼,忽視了92%的勞動力

卡內基梅隆大學與斯坦福大學的一項合作研究強調了當前 AI 智慧體發展軌跡中關鍵的“路徑依賴”問題。研究結果顯示,現有的評估基準過度側重於程式設計領域,而忽視了構成美國勞動力 92% 的非技術行業。
研究團隊對 43 個知名 AI 基準中的 72,000 項任務進行了系統分析,並將其與美國政府 O*NET 資料庫中列出的 1,016 種職業進行了交叉參考。
調查中確定的關鍵不平衡現象:
數字行業的“基準盲點”:儘管管理崗位的數字化率達到 88%,但它們僅佔當前 AI 基準測試的 1.4%。同樣,數字化程度為 70% 的法律職業,在基準覆蓋範圍中僅佔 0.3%。
顯著的技能錯配:當前的 AI 評估優先考慮“資訊檢索”和“計算機操作”技能,而這些技能在美國就業崗位中佔比不足 5%。相反,“人際互動”作為現實工作的關鍵組成部分,在現有的 AI 評估中幾乎缺失。
由複雜性增加驅動的“能力下降”:研究表明,AI 智慧體在處理複雜任務時面臨巨大困難。即使在軟體開發這一主要優勢領域,隨著任務步驟的增加或邏輯要求的複雜化,成功率也會急劇下降。
研究人員主張,未來的 AI 基準應優先考慮高價值、高度數字化的行業,如管理、法律、建築和工程。此外,評估應關注中間執行步驟,而不僅僅是最終結果,以解決目標模糊和驗證週期延長等實際挑戰。
市場資料證實了這些結論。Anthropic 最近的分析顯示,其近 50% 的 API 呼叫仍集中在軟體開發領域。專家警告稱,如果 AI 開發繼續優先考慮易於評分的程式設計任務,可能會錯失在更廣泛的經濟領域展示生產力價值的機會。
相關文章
隨著 AI 模型路由技術日益普及,Stripe 將收購 OpenRouter
Stripe 已同意收購 OpenRouter,這是一個 AI 模型路由平台,讓開發者能透過單一介面存取數百種模型。這筆交易為 Stripe 現有的 AI 應用及基於代幣的計費相關業務,增添了模型選擇與路由功能。據 Stripe 表示,OpenRouter 支援來自 80 多家供應商的 400 多個模型。開發者無需分別與各模型供應商進行整合,只需透過 OpenRouter 單一 API 即可發送請
前 OpenAI 研究員巴雷特·佐夫重返 Google,協助 Gemini 的開發工作
巴雷特·佐夫(Barret Zoph)先前因與 Thinking Machines Lab 執行長米里亞姆·穆拉拉蒂(Miriam Mularati)意見不合而突然離職並加入 OpenAI,如今他再次更換雇主。Alphabet 旗下的 Google 宣布,佐夫將以研究副總裁身分回歸,將他在強化學習與後訓練領域的專業知識帶入 Gemini 團隊。「旋轉門」研究人員的循環佐夫的職業生涯正是人工智慧人才
Recursive Intelligence 如何在 4 個月內以 40 億美元估值募得 3.35 億美元資金
新創公司 Ricursive Intelligence 的共同創辦人彷彿注定要成為夥伴。執行長安娜·戈迪(Anna Goldie)與技術長阿扎莉亞·米爾霍塞尼(Azalia Mirhoseini)在人工智慧界聲名遠播,戈迪向 TechCrunch 笑著透露:「我們正是那些收到祖克柏發來『奇怪電子郵件』、提出瘋狂邀約的人工智慧工程師之一。」(她們最終並未接受這些邀約。) 兩人曾一同在 Google
相關專題推薦
評論 (1)
0/500
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll

卡內基梅隆大學與斯坦福大學的一項合作研究強調了當前 AI 智慧體發展軌跡中關鍵的“路徑依賴”問題。研究結果顯示,現有的評估基準過度側重於程式設計領域,而忽視了構成美國勞動力 92% 的非技術行業。
研究團隊對 43 個知名 AI 基準中的 72,000 項任務進行了系統分析,並將其與美國政府 O*NET 資料庫中列出的 1,016 種職業進行了交叉參考。
調查中確定的關鍵不平衡現象:
數字行業的“基準盲點”:儘管管理崗位的數字化率達到 88%,但它們僅佔當前 AI 基準測試的 1.4%。同樣,數字化程度為 70% 的法律職業,在基準覆蓋範圍中僅佔 0.3%。
顯著的技能錯配:當前的 AI 評估優先考慮“資訊檢索”和“計算機操作”技能,而這些技能在美國就業崗位中佔比不足 5%。相反,“人際互動”作為現實工作的關鍵組成部分,在現有的 AI 評估中幾乎缺失。
由複雜性增加驅動的“能力下降”:研究表明,AI 智慧體在處理複雜任務時面臨巨大困難。即使在軟體開發這一主要優勢領域,隨著任務步驟的增加或邏輯要求的複雜化,成功率也會急劇下降。
研究人員主張,未來的 AI 基準應優先考慮高價值、高度數字化的行業,如管理、法律、建築和工程。此外,評估應關注中間執行步驟,而不僅僅是最終結果,以解決目標模糊和驗證週期延長等實際挑戰。
市場資料證實了這些結論。Anthropic 最近的分析顯示,其近 50% 的 API 呼叫仍集中在軟體開發領域。專家警告稱,如果 AI 開發繼續優先考慮易於評分的程式設計任務,可能會錯失在更廣泛的經濟領域展示生產力價值的機會。
隨著 AI 模型路由技術日益普及,Stripe 將收購 OpenRouter
Stripe 已同意收購 OpenRouter,這是一個 AI 模型路由平台,讓開發者能透過單一介面存取數百種模型。這筆交易為 Stripe 現有的 AI 應用及基於代幣的計費相關業務,增添了模型選擇與路由功能。據 Stripe 表示,OpenRouter 支援來自 80 多家供應商的 400 多個模型。開發者無需分別與各模型供應商進行整合,只需透過 OpenRouter 單一 API 即可發送請
前 OpenAI 研究員巴雷特·佐夫重返 Google,協助 Gemini 的開發工作
巴雷特·佐夫(Barret Zoph)先前因與 Thinking Machines Lab 執行長米里亞姆·穆拉拉蒂(Miriam Mularati)意見不合而突然離職並加入 OpenAI,如今他再次更換雇主。Alphabet 旗下的 Google 宣布,佐夫將以研究副總裁身分回歸,將他在強化學習與後訓練領域的專業知識帶入 Gemini 團隊。「旋轉門」研究人員的循環佐夫的職業生涯正是人工智慧人才
Recursive Intelligence 如何在 4 個月內以 40 億美元估值募得 3.35 億美元資金
新創公司 Ricursive Intelligence 的共同創辦人彷彿注定要成為夥伴。執行長安娜·戈迪(Anna Goldie)與技術長阿扎莉亞·米爾霍塞尼(Azalia Mirhoseini)在人工智慧界聲名遠播,戈迪向 TechCrunch 笑著透露:「我們正是那些收到祖克柏發來『奇怪電子郵件』、提出瘋狂邀約的人工智慧工程師之一。」(她們最終並未接受這些邀約。) 兩人曾一同在 Google
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll





首頁






