选项
首页
新闻
新基准测试质疑人工智能助手的职场适应性

新基准测试质疑人工智能助手的职场适应性

2026-02-20
114

近两年前,微软首席执行官萨蒂亚·纳德拉曾预言人工智能将重塑知识型工作——即律师、投资银行家、图书馆员、会计师、IT专业人士及类似白领岗位的领域。

然而,尽管基础模型取得了重大进展,知识工作的转型却迟迟未能实现。虽然模型在深度研究和智能规划方面表现出色,但大多数白领职业却鲜有受到颠覆性影响,其原因至今尚不明确。

这已成为人工智能领域的一大谜题。训练数据领军企业Mercor的最新研究正提供关键洞见。

该研究评估了顶尖AI模型处理咨询、投行及法律领域真实白领任务的能力,由此创建了APEX-Agents基准测试——目前所有AI实验室均未能通过。面对真实专业人士的提问,即使最优秀的模型正确回答率也不到四分之一,多数情况下会给出错误答案或完全无回应。

参与研究的Mercor首席执行官布伦丹·福迪指出,模型最核心的缺陷在于跨领域信息整合能力——这恰是人类知识工作的精髓所在。

"该基准测试的关键创新在于构建了模拟真实专业服务的完整环境,"福迪向TechCrunch解释道,"现实工作中不会有人在单一平台提供完整背景信息,实际操作需在Slack、Google Drive等多种工具间切换。"对多数智能体AI模型而言,此类跨领域推理仍存在显著不稳定性。

截图

测试场景源自Mercor专家市场中的真实从业者,由他们设计查询并定义成功回答的标准。查阅Hugging Face平台公开的问题可窥见这些任务的复杂性。 

Techcrunch活动

Disrupt 2026门票:限时优惠

门票现已开售!限时优惠最高可省680美元,前500名注册者可享+1通行证五折特惠。TechCrunch Disrupt汇聚谷歌云、奈飞、微软、Box、a16z、Hugging Face等顶尖企业领袖,通过250余场专题会议助您加速增长、强化竞争优势。 与数百家创新初创企业建立联系,参与精心策划的交流活动,促成合作、获取洞见、激发灵感。

Disrupt 2026门票:限时优惠

门票现已开售!限时优惠最高可省680美元,前500名注册者可享+1通行证五折优惠。TechCrunch Disrupt汇聚谷歌云、奈飞、微软、Box、a16z、Hugging Face等顶尖企业领袖,通过250余场专题会议助您加速发展、提升竞争力。 与数百家创新初创企业建立联系,参与精心策划的社交活动,促成合作、获取洞见、激发灵感。

旧金山 | 2026年10月13-15日 立即注册

法律板块示例问题: 

在欧盟生产系统停机的前48分钟内,北极星工程团队向美国分析供应商导出了一至两组包含个人数据的欧盟生产事件日志……根据北极星自身政策,是否可合理认定此类日志导出符合第49条规定?

正确答案是肯定的,但得出结论需对公司内部政策及相关欧盟隐私法规进行细致分析。

此类问题即使对专业人士也颇具挑战性,但研究人员旨在模拟真实的职业工作场景。能够可靠解答此类查询的大型语言模型,未来或将取代众多执业律师。Foody向TechCrunch表示:"这无疑是当今最重要的经济议题,该基准测试精准反映了专业人士的实际工作内容。"

OpenAI此前曾通过GDPval基准测试评估专业技能,但APEX-Agents测试具有显著差异:GDPval侧重多领域广博知识的评估,而APEX-Agents则衡量系统在少数高价值职业领域执行持续性任务的能力。这使得测试对模型更具挑战性,也更直接关乎职业自动化的潜在可能性。

尽管尚无模型能替代投资银行家的工作,但部分模型表现明显优于其他模型。Gemini 3 Flash以24%的单次准确率领跑,GPT-5.2以23%紧随其后。Opus 4.5、Gemini 3 Pro和GPT-5的得分均在18%左右。

尽管这些初步结果令人失望,但人工智能领域素来以快速突破技术难关著称。随着APEX-Agents测试公开,这为自信能实现突破的人工智能实验室抛出了公开挑战——Foody完全预期未来数月将出现突破性进展。 

"技术进步速度惊人,"他向TechCrunch表示,"当前该技术相当于每四次操作能成功一次的实习生,而去年成功率仅为5%至10%。这种逐年递增的进步速度将迅速产生重大影响。"

相关文章
DeepMind首席执行官哈西里斯:我每天睡六个小时,通常在凌晨1点左右感到精力充沛。 DeepMind首席执行官哈西里斯:我每天睡六个小时,通常在凌晨1点左右感到精力充沛。 Fortune 最近刊登了对谷歌 DeepMind 首席执行官 Demis Hassabis 的采访,揭示了他对休息和生产力的非传统方法。Hassabis 透露,他睡眠时间非常少,将清醒时间划分为两个不同的工作阶段。关于他的睡眠习惯,Hassabis 表示:“我目标睡六小时,但我的习惯非同寻常。我可以在白天有效运作。”他强调,睡眠少于六小时会对大脑健康产生负面影响。Hassabis 于 2010 年联合创立了 DeepMind(后被谷歌收购),并因其在蛋白质结构预测方面的开创性工作荣获 20
尽管营收未达预期,OpenAI与Anthropic仍在争夺市场份额 尽管营收未达预期,OpenAI与Anthropic仍在争夺市场份额 尽管近期有报道称OpenAI未达营收目标,给本周二的科技股带来压力,但私营人工智能实验室的投资者仍表现坚韧。经验丰富的投资者已确认,尽管媒体报道负面,他们仍不会减少投资。分析师认为当前的人工智能竞赛仍处于早期阶段,因此不会出现“赢家通吃”的局面。尽管高昂的计算成本给营收带来压力,但实验室可通过提高订阅费来提升盈利能力。行业格局正发生微妙变化与OpenAI不同,其竞争对手Anthropic获得了强有
加利福尼亚州自动驾驶合规:罚单、地理围栏和100万英里的新时代 加利福尼亚州自动驾驶合规:罚单、地理围栏和100万英里的新时代 Guident公司在南佛罗里达州运营一辆AuveTech自动驾驶班车,利用其远程监控技术管理西棕榈滩的一条4英里路线和博卡拉顿的一条1英里路线。| 图片来源:Guident加利福尼亚州正在重新定义无人驾驶车辆的监管格局,正逐渐摆脱科技行业“快速行动,打破常规”的思维模式,转向严格的问责制和严苛的行驶里程要求。Guident执行董事长兼首席执行官哈罗德·布劳恩(Harold Braun)在《机器人报
相关专题推荐
音乐创作 用于混音制作、采样准备及卡拉OK母带处理的 AI 声部分离工具
用于混音制作、采样准备及卡拉OK母带处理的 AI 声部分离工具

2026年最新、最优秀且评分最高的AI音轨分离工具汇总,专为混音制作、采样准备以及卡拉OK音频处理而设计。这些功能强大的创新工具经过实际测试,能够实现精准的音频分离,显著提升工作效率。XIX.AI每周都会更新免费的付费产品对比指南,帮助您找到最适合自身需求的工具。立即探索,发挥您的AI优势。

8 个工具
xix.ai
数据分析 用于收入看板、转化漏斗分析及产品指标分析的 AI SQL 助手
用于收入看板、转化漏斗分析及产品指标分析的 AI SQL 助手

2026年最新最优秀的AI SQL辅助工具排名揭晓!XIX.AI精心挑选了一系列功能强大的工具,这些工具会定期更新,并通过真实的场景测试来验证其性能。使用这些值得尝试的工具,您可以快速生成精准的收入分析报表、分析销售流程,并追踪产品各项指标,从而大幅提升工作效率。立即探索,找到最适合您的数据驱动决策工具!238个字符

9 个工具
xix.ai
音乐创作 最佳用于歌曲草稿的 AI 旋律创作工具
最佳用于歌曲草稿的 AI 旋律创作工具

2026 年最新最佳顶级评分 AI 旋律创作工具,助力歌曲草稿创作!XIX.AI 精心策划了一套极具影响力且经过严格真实世界测试的变革性合集,旨在提供最佳的创作体验。您可以找到详细的免费与付费版对比、精准的排名以及必试选项,这些工具旨在帮助您轻松创作出令人惊艳的歌曲草稿,并显著提升您的创意生产力。立即探索,发现您的完美工具!

8 个工具
xix.ai
聊天机器人 最佳AI对话训练工具,助你备战面试
最佳AI对话训练工具,助你备战面试

2026年最新、最受好评的AI面试模拟训练工具现已登陆XIX.AI!这份精心精选的合集收录了功能强大、具有革命性意义的工具,它们均经过严格的实际测试,能够提供精准的反馈。 您将看到免费版与付费版的对比分析以及详细排名,助您挑选出必试之选,从而提升自信并精进技能。立即探索,发现助您面试成功的完美工具!

12 个工具
xix.ai
设计与艺术 最适合创意实验的AI风格转换工具
最适合创意实验的AI风格转换工具

2026年最新最佳、评价最高的AI风格转换工具,助您开展创意实验!XIX.AI精心甄选了一系列功能强大、颠覆性的必试工具,这些工具经过实际测试和严格排名,可带来卓越的效果。这些顶级解决方案通过加速内容创作并释放无限创意潜能,帮助创作者显著提升工作效率。 立即探索,找到最适合您的工具,今天就开始创作吧!

9 个工具
xix.ai
漫画创作 最适合视觉叙事的AI对话气泡工具
最适合视觉叙事的AI对话气泡工具

2026年最新、最受欢迎的视觉叙事AI对话气泡工具现已登陆XIX.AI!这份精心精选的合集汇集了功能强大、具有颠覆性的工具,可帮助创作者提升工作效率并突破创作瓶颈。 获取免费版与付费版的对比分析,查看实际测试结果,并查阅最新排行榜,找到最适合打造引人入胜的视觉叙事的必试解决方案。立即探索,发现您的理想工具!

10 个工具
xix.ai
评论 (0)
0/500
OR