百度が「Ernie 5.1」を発表、事前学習コストを94%削減し、世界トップ4にランクイン
百度は2026年5月11日、次世代言語モデル「Ernie 5.1」を正式にリリースした。 1月にリリースされたパラメータ数2.4兆の「Ernie 5.0」の事前学習基盤を土台とし、この新バージョンは革新的な「ワンショット・エラスティック・トレーニング・フレームワーク」を用いて開発されました。このアプローチにより、百度は単一のトレーニングサイクルで複数のモデルサイズを最適化することが可能となり、Ernie 5.1の事前学習コストを同等のモデルのわずか6%にまで削減しました。

5月9日時点で、Ernie 5.1はArena Searchのリーダーボードにおいて、1223ポイントのスコアで世界第4位、中国製モデルの中では第1位を獲得しており、その卓越した効率性とバランスの取れた性能を実証しています。
アーキテクチャの面では、Ernie 5.1は深度、幅、およびアクティブなエキスパートの数を調整可能なサブモデル設計を採用しています。総パラメータ数は前世代モデルのわずか3分の1であり、クエリごとにアクティブになる有効パラメータ数も約半分に削減されました。マルチスキルトレーニングでよく見られる「シーソー効果」に対処するため、百度は4段階のポストトレーニングプロセスを実装しました。 この手法では、並列化された特化型トレーニングコード、推論、プロキシエキスパートモデルを活用し、戦略の蒸留と強化学習を組み合わせることで、プログラミング能力と創造的推論のバランスを取るという業界全体の課題を効果的に解決しています。さらに、刷新された強化学習インフラストラクチャにより、モデルの更新、応答生成、評価が分離されました。標準化された低精度計算ライブラリと組み合わせることで、大規模トレーニングの安定性が大幅に向上します。

関連記事
DeepMindのCEOハサビス氏:1日6時間睡眠し、通常午前1時頃に活力を感じます。
フォーチュンは最近、Google DeepMindのCEOであるデミス・ハサビスへのインタビューを掲載し、彼の休息と生産性に対する非伝統的なアプローチを明らかにした。ハサビスは、睡眠時間が非常に短いことを明かし、覚醒時間を2つの明確な作業ブロックに構造化していると語った。彼の睡眠習慣について、ハサビスは「6時間の睡眠を目標としているが、私の習慣は典型的ではない。一日中効果的に機能できる」と述べた。彼は、6時間未満の睡眠は脳の健康に悪影響を及ぼすことを強調した。2010年にDeepMindを共
OpenAIとAnthropic、収益の伸び悩みにもかかわらず市場シェア争いを繰り広げる
OpenAIが収益目標を達成できなかったとする最近の報道を受け、今週火曜日にハイテク株に売り圧力が生じたにもかかわらず、AI研究機関への民間投資家は依然として堅調だ。経験豊富な出資者たちは、メディアによる否定的な報道にもかかわらず、投資額を減らすつもりはないことを明らかにしている。アナリストらは、現在のAI競争はまだ初期段階にあると見ており、「勝者総取り」という結末はあり得ないと見ている。高いコン
カリフォルニア州の自動運転車規制:違反切符、ジオフェンス、そして100万マイルという新たな時代
Guident社は南フロリダでAuveTechのシャトルを運行しており、同社の遠隔監視技術を活用して、ウェストパームビーチでの4マイルのルートとボカラトンでの1マイルのルートを管理している。 | 提供:Guidentカリフォルニア州は、自動運転車の規制環境を再定義しつつあり、テクノロジー業界の「迅速に動き、失敗を恐れない」という考え方から、厳格な説明責任と厳しい走行距離要件へと移行している。Gui
関連特集おすすめ
コメント (0)
0/500
百度は2026年5月11日、次世代言語モデル「Ernie 5.1」を正式にリリースした。 1月にリリースされたパラメータ数2.4兆の「Ernie 5.0」の事前学習基盤を土台とし、この新バージョンは革新的な「ワンショット・エラスティック・トレーニング・フレームワーク」を用いて開発されました。このアプローチにより、百度は単一のトレーニングサイクルで複数のモデルサイズを最適化することが可能となり、Ernie 5.1の事前学習コストを同等のモデルのわずか6%にまで削減しました。

5月9日時点で、Ernie 5.1はArena Searchのリーダーボードにおいて、1223ポイントのスコアで世界第4位、中国製モデルの中では第1位を獲得しており、その卓越した効率性とバランスの取れた性能を実証しています。
アーキテクチャの面では、Ernie 5.1は深度、幅、およびアクティブなエキスパートの数を調整可能なサブモデル設計を採用しています。総パラメータ数は前世代モデルのわずか3分の1であり、クエリごとにアクティブになる有効パラメータ数も約半分に削減されました。マルチスキルトレーニングでよく見られる「シーソー効果」に対処するため、百度は4段階のポストトレーニングプロセスを実装しました。 この手法では、並列化された特化型トレーニングコード、推論、プロキシエキスパートモデルを活用し、戦略の蒸留と強化学習を組み合わせることで、プログラミング能力と創造的推論のバランスを取るという業界全体の課題を効果的に解決しています。さらに、刷新された強化学習インフラストラクチャにより、モデルの更新、応答生成、評価が分離されました。標準化された低精度計算ライブラリと組み合わせることで、大規模トレーニングの安定性が大幅に向上します。

DeepMindのCEOハサビス氏:1日6時間睡眠し、通常午前1時頃に活力を感じます。
フォーチュンは最近、Google DeepMindのCEOであるデミス・ハサビスへのインタビューを掲載し、彼の休息と生産性に対する非伝統的なアプローチを明らかにした。ハサビスは、睡眠時間が非常に短いことを明かし、覚醒時間を2つの明確な作業ブロックに構造化していると語った。彼の睡眠習慣について、ハサビスは「6時間の睡眠を目標としているが、私の習慣は典型的ではない。一日中効果的に機能できる」と述べた。彼は、6時間未満の睡眠は脳の健康に悪影響を及ぼすことを強調した。2010年にDeepMindを共
OpenAIとAnthropic、収益の伸び悩みにもかかわらず市場シェア争いを繰り広げる
OpenAIが収益目標を達成できなかったとする最近の報道を受け、今週火曜日にハイテク株に売り圧力が生じたにもかかわらず、AI研究機関への民間投資家は依然として堅調だ。経験豊富な出資者たちは、メディアによる否定的な報道にもかかわらず、投資額を減らすつもりはないことを明らかにしている。アナリストらは、現在のAI競争はまだ初期段階にあると見ており、「勝者総取り」という結末はあり得ないと見ている。高いコン





家






