AIエージェントのテストはコーディングに偏っており、労働力の92%を無視している

カーネギーメロン大学とスタンフォード大学の共同研究は、現在のAIエージェント開発の軌道において重要な「経路依存性」を浮き彫りにしています。この調査結果は、既存の評価ベンチマークがプログラミングに偏重しており、米国の労働力の92%を占める非技術分野の見落としがあることを示しています。
研究チームは、43の主要なAIベンチマークにわたる72,000のタスクを体系的に分析し、米政府のO*NETデータベースに記載された1,016の職業とクロス参照しました。
調査で特定された主要な不均衡:
デジタル業界における「ベンチマークの盲点」: 管理職は88%のデジタル化率を示していますが、現在のAIベンチマークテストにおける割合はわずか1.4%に過ぎません。同様に、デジタル化レベルが70%の法律専門職は、ベンチマークのカバー範囲のわずか0.3%を占めています。
顕著なスキルのミスマッチ: 現在のAI評価は、「情報検索」と「コンピュータ操作」のスキルを優先しており、これらは米国の仕事の5%未満を構成しています。一方、現実の業務において重要な要素である「対人相互作用」は、既存のAI評価ではほとんど見られません。
複雑さの増大による「能力の低下」: 本研究によると、AIエージェントは複雑なタスクで著しく苦戦しています。主要な強みであるソフトウェア開発でさえ、タスクの手順が増加したり、論理的要件が複雑になったりすると、成功率は急落します。
研究者たちは、将来のAIベンチマークが、管理、法律、建設、工学などの高価値かつ高度にデジタル化された分野を優先すべきだと提唱しています。さらに、評価は最終結果だけでなく中間の実行ステップも検証し、曖昧な目標や長期の検証サイクルといった実務上の課題に対処すべきです。
市場データはこれらの結論を裏付けています。Anthropicによる最近の分析では、API呼び出しのほぼ50%がソフトウェア開発に焦点を当てていることが明らかになりました。専門家は、AI開発が評価しやすいプログラミングタスクの優先を続けると、より広範な経済スペクトル全体で生産性の価値を示す機会を見逃すリスクがあると警告しています。
関連記事
AIモデルルーティングが勢いを増す中、StripeがOpenRouterを買収へ
Stripeは、開発者が単一のインターフェースを通じて数百のモデルにアクセスできるAIモデルルーティングプラットフォーム「OpenRouter」の買収に合意した。この買収により、StripeのAI活用やトークンベースの課金に関する既存の取り組みに、モデルの選択およびルーティング機能が追加されることになる。Stripeによると、OpenRouterは80社以上のプロバイダーが提供する400以上のモデ
OpenAIの元研究員バレット・ゾフ氏が、Geminiの開発を支援するためGoogleに復帰
以前、Thinking Machines LabのCEOであるミリアム・ムララティ氏との意見の相違により、突然同社を退社してOpenAIに加わったバレット・ゾフ氏が、再び転職した。Alphabet傘下のGoogleは、ゾフ氏が研究担当副社長として復帰し、強化学習とポストトレーニングに関する専門知識をGeminiチームにもたらすことを発表した。「回転ドア」式研究者のサイクルゾフ氏のキャリアは、AI人
Recursive Intelligenceが4か月で40億ドルの評価額に基づき3億3500万ドルを調達した経緯
スタートアップ「Ricursive Intelligence」の共同創業者たちは、まるで共同創業者になる運命にあったかのようだった。CEOのアンナ・ゴールディ氏とCTOのアザリア・ミルホセイニ氏は、AIコミュニティでは非常に有名であり、ゴールディ氏はTechCrunchに対し、「ザッカーバーグから、とんでもないオファーが書かれた奇妙なメールを受け取ったAIエンジニアたち」の一人だったと、笑いながら
関連特集おすすめ
コメント (1)
0/500
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll

カーネギーメロン大学とスタンフォード大学の共同研究は、現在のAIエージェント開発の軌道において重要な「経路依存性」を浮き彫りにしています。この調査結果は、既存の評価ベンチマークがプログラミングに偏重しており、米国の労働力の92%を占める非技術分野の見落としがあることを示しています。
研究チームは、43の主要なAIベンチマークにわたる72,000のタスクを体系的に分析し、米政府のO*NETデータベースに記載された1,016の職業とクロス参照しました。
調査で特定された主要な不均衡:
デジタル業界における「ベンチマークの盲点」: 管理職は88%のデジタル化率を示していますが、現在のAIベンチマークテストにおける割合はわずか1.4%に過ぎません。同様に、デジタル化レベルが70%の法律専門職は、ベンチマークのカバー範囲のわずか0.3%を占めています。
顕著なスキルのミスマッチ: 現在のAI評価は、「情報検索」と「コンピュータ操作」のスキルを優先しており、これらは米国の仕事の5%未満を構成しています。一方、現実の業務において重要な要素である「対人相互作用」は、既存のAI評価ではほとんど見られません。
複雑さの増大による「能力の低下」: 本研究によると、AIエージェントは複雑なタスクで著しく苦戦しています。主要な強みであるソフトウェア開発でさえ、タスクの手順が増加したり、論理的要件が複雑になったりすると、成功率は急落します。
研究者たちは、将来のAIベンチマークが、管理、法律、建設、工学などの高価値かつ高度にデジタル化された分野を優先すべきだと提唱しています。さらに、評価は最終結果だけでなく中間の実行ステップも検証し、曖昧な目標や長期の検証サイクルといった実務上の課題に対処すべきです。
市場データはこれらの結論を裏付けています。Anthropicによる最近の分析では、API呼び出しのほぼ50%がソフトウェア開発に焦点を当てていることが明らかになりました。専門家は、AI開発が評価しやすいプログラミングタスクの優先を続けると、より広範な経済スペクトル全体で生産性の価値を示す機会を見逃すリスクがあると警告しています。
AIモデルルーティングが勢いを増す中、StripeがOpenRouterを買収へ
Stripeは、開発者が単一のインターフェースを通じて数百のモデルにアクセスできるAIモデルルーティングプラットフォーム「OpenRouter」の買収に合意した。この買収により、StripeのAI活用やトークンベースの課金に関する既存の取り組みに、モデルの選択およびルーティング機能が追加されることになる。Stripeによると、OpenRouterは80社以上のプロバイダーが提供する400以上のモデ
OpenAIの元研究員バレット・ゾフ氏が、Geminiの開発を支援するためGoogleに復帰
以前、Thinking Machines LabのCEOであるミリアム・ムララティ氏との意見の相違により、突然同社を退社してOpenAIに加わったバレット・ゾフ氏が、再び転職した。Alphabet傘下のGoogleは、ゾフ氏が研究担当副社長として復帰し、強化学習とポストトレーニングに関する専門知識をGeminiチームにもたらすことを発表した。「回転ドア」式研究者のサイクルゾフ氏のキャリアは、AI人
Recursive Intelligenceが4か月で40億ドルの評価額に基づき3億3500万ドルを調達した経緯
スタートアップ「Ricursive Intelligence」の共同創業者たちは、まるで共同創業者になる運命にあったかのようだった。CEOのアンナ・ゴールディ氏とCTOのアザリア・ミルホセイニ氏は、AIコミュニティでは非常に有名であり、ゴールディ氏はTechCrunchに対し、「ザッカーバーグから、とんでもないオファーが書かれた奇妙なメールを受け取ったAIエンジニアたち」の一人だったと、笑いながら
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll





家






