AI 代理测试偏向编码,忽视了92%的劳动力

卡内基梅隆大学与斯坦福大学的一项合作研究强调了当前 AI 智能体发展轨迹中关键的“路径依赖”问题。研究结果显示,现有的评估基准过度侧重于编程领域,而忽视了构成美国劳动力 92% 的非技术行业。
研究团队对 43 个知名 AI 基准中的 72,000 项任务进行了系统分析,并将其与美国政府 O*NET 数据库中列出的 1,016 种职业进行了交叉参考。
调查中确定的关键不平衡现象:
数字行业的“基准盲点”:尽管管理岗位的数字化率达到 88%,但它们仅占当前 AI 基准测试的 1.4%。同样,数字化程度为 70% 的法律职业,在基准覆盖范围中仅占 0.3%。
显著的技能错配:当前的 AI 评估优先考虑“信息检索”和“计算机操作”技能,而这些技能在美国就业岗位中占比不足 5%。相反,“人际互动”作为现实工作的关键组成部分,在现有的 AI 评估中几乎缺失。
由复杂性增加驱动的“能力下降”:研究表明,AI 智能体在处理复杂任务时面临巨大困难。即使在软件开发这一主要优势领域,随着任务步骤的增加或逻辑要求的复杂化,成功率也会急剧下降。
研究人员主张,未来的 AI 基准应优先考虑高价值、高度数字化的行业,如管理、法律、建筑和工程。此外,评估应关注中间执行步骤,而不仅仅是最终结果,以解决目标模糊和验证周期延长等实际挑战。
市场数据证实了这些结论。Anthropic 最近的分析显示,其近 50% 的 API 调用仍集中在软件开发领域。专家警告称,如果 AI 开发继续优先考虑易于评分的编程任务,可能会错失在更广泛的经济领域展示生产力价值的机会。
相关文章
随着AI模型路由技术势头渐增,Stripe将收购OpenRouter
Stripe 已同意收购 OpenRouter——这是一家人工智能模型路由平台,可让开发者通过单一接口访问数百种模型。此项收购将模型选择和路由功能融入 Stripe 现有的 AI 应用及基于令牌的计费业务中。据 Stripe 称,OpenRouter 支持来自 80 多家提供商的 400 多个模型。开发者无需与每个模型提供商分别进行集成,只需通过 OpenRouter 借助一个 API 即可发送请
前OpenAI研究员巴雷特·佐夫重返谷歌,助力Gemini的开发
巴雷特·佐夫(Barret Zoph)此前因与Thinking Machines Lab首席执行官米里亚姆·穆拉拉蒂(Miriam Mularati)意见不合而突然离职并加入OpenAI,如今他再次更换了雇主。Alphabet旗下的谷歌宣布,佐夫将回归担任研究副总裁,将其在强化学习和后训练方面的专业知识带入Gemini团队。“旋转门”式研究人员的职业循环佐夫的职业生涯是人工智能人才流动的典型例证。
Recursive Intelligence 如何在4个月内以40亿美元估值筹集3.35亿美元
初创公司Ricursive Intelligence的联合创始人似乎注定要成为联合创始人。首席执行官安娜·戈迪(Anna Goldie)和首席技术官阿扎莉亚·米尔霍塞伊尼(Azalia Mirhoseini)在人工智能界声名显赫,戈迪向TechCrunch笑称,她们正是那些“收到扎克伯格发来的奇怪邮件、里面提出疯狂邀约”的人工智能工程师之一。(她们最终没有接受这些邀约。) 两人曾共同在谷歌大脑(G
相关专题推荐
评论 (1)
0/500
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll

卡内基梅隆大学与斯坦福大学的一项合作研究强调了当前 AI 智能体发展轨迹中关键的“路径依赖”问题。研究结果显示,现有的评估基准过度侧重于编程领域,而忽视了构成美国劳动力 92% 的非技术行业。
研究团队对 43 个知名 AI 基准中的 72,000 项任务进行了系统分析,并将其与美国政府 O*NET 数据库中列出的 1,016 种职业进行了交叉参考。
调查中确定的关键不平衡现象:
数字行业的“基准盲点”:尽管管理岗位的数字化率达到 88%,但它们仅占当前 AI 基准测试的 1.4%。同样,数字化程度为 70% 的法律职业,在基准覆盖范围中仅占 0.3%。
显著的技能错配:当前的 AI 评估优先考虑“信息检索”和“计算机操作”技能,而这些技能在美国就业岗位中占比不足 5%。相反,“人际互动”作为现实工作的关键组成部分,在现有的 AI 评估中几乎缺失。
由复杂性增加驱动的“能力下降”:研究表明,AI 智能体在处理复杂任务时面临巨大困难。即使在软件开发这一主要优势领域,随着任务步骤的增加或逻辑要求的复杂化,成功率也会急剧下降。
研究人员主张,未来的 AI 基准应优先考虑高价值、高度数字化的行业,如管理、法律、建筑和工程。此外,评估应关注中间执行步骤,而不仅仅是最终结果,以解决目标模糊和验证周期延长等实际挑战。
市场数据证实了这些结论。Anthropic 最近的分析显示,其近 50% 的 API 调用仍集中在软件开发领域。专家警告称,如果 AI 开发继续优先考虑易于评分的编程任务,可能会错失在更广泛的经济领域展示生产力价值的机会。
随着AI模型路由技术势头渐增,Stripe将收购OpenRouter
Stripe 已同意收购 OpenRouter——这是一家人工智能模型路由平台,可让开发者通过单一接口访问数百种模型。此项收购将模型选择和路由功能融入 Stripe 现有的 AI 应用及基于令牌的计费业务中。据 Stripe 称,OpenRouter 支持来自 80 多家提供商的 400 多个模型。开发者无需与每个模型提供商分别进行集成,只需通过 OpenRouter 借助一个 API 即可发送请
前OpenAI研究员巴雷特·佐夫重返谷歌,助力Gemini的开发
巴雷特·佐夫(Barret Zoph)此前因与Thinking Machines Lab首席执行官米里亚姆·穆拉拉蒂(Miriam Mularati)意见不合而突然离职并加入OpenAI,如今他再次更换了雇主。Alphabet旗下的谷歌宣布,佐夫将回归担任研究副总裁,将其在强化学习和后训练方面的专业知识带入Gemini团队。“旋转门”式研究人员的职业循环佐夫的职业生涯是人工智能人才流动的典型例证。
Recursive Intelligence 如何在4个月内以40亿美元估值筹集3.35亿美元
初创公司Ricursive Intelligence的联合创始人似乎注定要成为联合创始人。首席执行官安娜·戈迪(Anna Goldie)和首席技术官阿扎莉亚·米尔霍塞伊尼(Azalia Mirhoseini)在人工智能界声名显赫,戈迪向TechCrunch笑称,她们正是那些“收到扎克伯格发来的奇怪邮件、里面提出疯狂邀约”的人工智能工程师之一。(她们最终没有接受这些邀约。) 两人曾共同在谷歌大脑(G
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll





首页






