ByteDance Seed、エージェント進化の評価指標を再定義する「EdgeBench」ベンチマークを発表
人工知能が急速に進歩する中、実世界シナリオにおいてエージェントが継続的にどれだけうまく学習しているかを測定することは、研究者や産業界双方にとって重要な焦点となっています。ByteDanceのSeedチームは最近、この研究分野に新たな定量的基準を提供する長期ベンチマーク「EdgeBench」を発表しました。
EdgeBenchの最大の強みは、実世界環境における学習に重点を置いている点にあります。これは6つの領域にまたがる134のタスクで構成されており、各タスクにおいてエージェントは少なくとも12時間継続して動作することが求められます。この設計により、複雑で動的な環境下においてエージェントが長期間にわたりどのように動作するかをより現実的にシミュレートすることで、短期的な評価の限界を克服しています。 チームはこの厳格なテストフレームワークを構築するために、約38,000時間分の相互作用データを収集しました。

その結果、注目すべきパターンが明らかになりました。エージェントの環境学習性能は対数シグモイド曲線に極めて近い傾向を示し、R²値は0.998に達しました。これは、学習プロセスが極めて規則的であることを示しています。 さらに、2025年9月から2026年5月までのデータによると、最先端モデルの学習速度は著しく向上し、3ヶ月ごとに2倍のペースで増加していることが示された。
EdgeBenchは、開発者向けに51のタスクと完全な評価フレームワークをオープンソース化しました。まだ学術的な探索段階ではありますが、長期的な環境学習パターンを定量的に特徴づける初のベンチマークとなっています。 AI研究者にとって、これらのパターンは、モデルの性能を評価するための具体的な指標となるだけでなく、将来的にエージェントの環境適応性や学習効率を向上させるための指針ともなる。
関連記事
Ctrip Business Travel、7つの業界エージェントと17の中核機能を備えたAIエコシステムを発表
Ctrip Business Travelは、大規模言語モデルを活用して法人向け出張管理を根本から再構築する「Ctrip Business Travel AIエコシステム」を正式に発表しました。 この包括的なエコシステムは、旅行手配、旅行管理、調達、機能共有という4つの主要なシナリオに対応しています。旅行に関するQ&A、旅程予約、承認、インサイト、コンプライアンス・リスク管理、精算、リソース調達を
AIモデルルーティングが勢いを増す中、StripeがOpenRouterを買収へ
Stripeは、開発者が単一のインターフェースを通じて数百のモデルにアクセスできるAIモデルルーティングプラットフォーム「OpenRouter」の買収に合意した。この買収により、StripeのAI活用やトークンベースの課金に関する既存の取り組みに、モデルの選択およびルーティング機能が追加されることになる。Stripeによると、OpenRouterは80社以上のプロバイダーが提供する400以上のモデ
OpenAIの元研究員バレット・ゾフ氏が、Geminiの開発を支援するためGoogleに復帰
以前、Thinking Machines LabのCEOであるミリアム・ムララティ氏との意見の相違により、突然同社を退社してOpenAIに加わったバレット・ゾフ氏が、再び転職した。Alphabet傘下のGoogleは、ゾフ氏が研究担当副社長として復帰し、強化学習とポストトレーニングに関する専門知識をGeminiチームにもたらすことを発表した。「回転ドア」式研究者のサイクルゾフ氏のキャリアは、AI人
関連特集おすすめ
コメント (1)
0/500
人工知能が急速に進歩する中、実世界シナリオにおいてエージェントが継続的にどれだけうまく学習しているかを測定することは、研究者や産業界双方にとって重要な焦点となっています。ByteDanceのSeedチームは最近、この研究分野に新たな定量的基準を提供する長期ベンチマーク「EdgeBench」を発表しました。
EdgeBenchの最大の強みは、実世界環境における学習に重点を置いている点にあります。これは6つの領域にまたがる134のタスクで構成されており、各タスクにおいてエージェントは少なくとも12時間継続して動作することが求められます。この設計により、複雑で動的な環境下においてエージェントが長期間にわたりどのように動作するかをより現実的にシミュレートすることで、短期的な評価の限界を克服しています。 チームはこの厳格なテストフレームワークを構築するために、約38,000時間分の相互作用データを収集しました。

その結果、注目すべきパターンが明らかになりました。エージェントの環境学習性能は対数シグモイド曲線に極めて近い傾向を示し、R²値は0.998に達しました。これは、学習プロセスが極めて規則的であることを示しています。 さらに、2025年9月から2026年5月までのデータによると、最先端モデルの学習速度は著しく向上し、3ヶ月ごとに2倍のペースで増加していることが示された。
EdgeBenchは、開発者向けに51のタスクと完全な評価フレームワークをオープンソース化しました。まだ学術的な探索段階ではありますが、長期的な環境学習パターンを定量的に特徴づける初のベンチマークとなっています。 AI研究者にとって、これらのパターンは、モデルの性能を評価するための具体的な指標となるだけでなく、将来的にエージェントの環境適応性や学習効率を向上させるための指針ともなる。
Ctrip Business Travel、7つの業界エージェントと17の中核機能を備えたAIエコシステムを発表
Ctrip Business Travelは、大規模言語モデルを活用して法人向け出張管理を根本から再構築する「Ctrip Business Travel AIエコシステム」を正式に発表しました。 この包括的なエコシステムは、旅行手配、旅行管理、調達、機能共有という4つの主要なシナリオに対応しています。旅行に関するQ&A、旅程予約、承認、インサイト、コンプライアンス・リスク管理、精算、リソース調達を
AIモデルルーティングが勢いを増す中、StripeがOpenRouterを買収へ
Stripeは、開発者が単一のインターフェースを通じて数百のモデルにアクセスできるAIモデルルーティングプラットフォーム「OpenRouter」の買収に合意した。この買収により、StripeのAI活用やトークンベースの課金に関する既存の取り組みに、モデルの選択およびルーティング機能が追加されることになる。Stripeによると、OpenRouterは80社以上のプロバイダーが提供する400以上のモデ
OpenAIの元研究員バレット・ゾフ氏が、Geminiの開発を支援するためGoogleに復帰
以前、Thinking Machines LabのCEOであるミリアム・ムララティ氏との意見の相違により、突然同社を退社してOpenAIに加わったバレット・ゾフ氏が、再び転職した。Alphabet傘下のGoogleは、ゾフ氏が研究担当副社長として復帰し、強化学習とポストトレーニングに関する専門知識をGeminiチームにもたらすことを発表した。「回転ドア」式研究者のサイクルゾフ氏のキャリアは、AI人





家






