Google'sGemma3は、Deepseekの精度の98%を1つだけGPUで達成しています
人工知能の経済学は最近、主要な焦点となっており、特にスタートアップのDeepSeek AIがGPUチップの使用で印象的な規模の経済を示しています。しかし、Googleも負けてはいません。水曜日、このテック大手は最新のオープンソース大規模言語モデル、Gemma 3を公開しました。これはDeepSeekのR1モデルとほぼ同等の精度を持ちながら、はるかに少ない計算能力を使用します。
Googleはこのパフォーマンスを「Elo」スコアを使用して測定しました。これはチェスやスポーツで競争者をランク付けするために一般的に使用されるシステムです。Gemma 3は1338点を獲得し、R1の1363点にわずかに及ばず、技術的にはR1がGemma 3を上回っています。しかし、GoogleはR1のスコアに到達するにはNvidiaのH100 GPUチップが32個必要であると推定していますが、Gemma 3は1つのH100 GPUだけでその結果を達成しています。Googleはこの計算とEloスコアのバランスを「スイートスポット」と称しています。
ブログ投稿で、GoogleはGemma 3を「単一のGPUまたはTPUで実行できる最も能力の高いモデル」と形容し、独自のカスタムAIチップである「テンソル処理ユニット」を指しています。同社は、Gemma 3が「そのサイズに対して最先端のパフォーマンスを提供する」と主張し、Llama-405B、DeepSeek-V3、o3-miniなどのモデルをLMArenaのランキングでの人間の好み評価で上回っています。このパフォーマンスにより、単一のGPUまたはTPUホストで魅力的なユーザー体験を簡単に作成できます。
Google
Googleのモデルは、MetaのLlama 3もEloスコアで上回っており、Googleはこれには16個のGPUが必要だと推定しています。競合モデルのこれらの数値はGoogleの推定であることに注意が必要です。DeepSeek AIは、R1にNvidiaのそれほど強力でないH800 GPUを1,814個使用したことのみを公開しています。
より詳細な情報は、HuggingFaceの開発者ブログ投稿で確認でき、Gemma 3のリポジトリもそこにあります。データセンターではなくデバイス上での使用を想定して設計されたGemma 3は、R1や他のオープンソースモデルに比べてパラメータ数が大幅に少なく、10億から270億の範囲です。現在の基準ではかなり控えめですが、R1は6710億のパラメータを誇り、選択的に370億のみを使用できます。
Gemma 3の効率性の鍵は、広く使用されているAI技術である蒸留にあります。これは、大きなモデルから訓練済みのモデル重みを小さなモデルに移すことで、その能力を向上させるものです。さらに、蒸留されたモデルは3つの品質管理措置を受けます:人間のフィードバックからの強化学習(RLHF)、機械のフィードバックからの強化学習(RLMF)、実行フィードバックからの強化学習(RLEF)。これらはモデルの出力を洗練させ、より役立つものにし、数学やコーディングの能力を向上させます。
Googleの開発者ブログではこれらのアプローチが詳述されており、別の投稿ではモバイルデバイス向けの最小の10億パラメータモデルの最適化技術について議論しています。これには量子化、キー値キャッシュレイアウトの更新、変数読み込み時間の改善、GPUウェイト共有が含まれます。
Googleは、Gemma 3をEloスコアだけでなく、Gemma 2やクローズドソースのGeminiモデルとLiveCodeBenchなどのさまざまなベンチマークで比較しています。Gemma 3は一般にGemini 1.5やGemini 2.0の精度には及ばないものの、Googleは「パラメータ数が少ないにもかかわらず、クローズドGeminiモデルと比較して競争力のあるパフォーマンスを示す」と述べています。
Google
Gemma 2に対するGemma 3の大きなアップグレードは、コンテキストウィンドウが8000トークンから128,000トークンに拡張されたことです。これにより、モデルは論文や本全体などの大きなテキストを処理できます。Gemma 3はマルチモーダルで、テキストと画像の両方の入力を処理でき、Gemma 2の英語のみの機能に比べて140以上の言語をサポートします。
これらの主な機能以外にも、Gemma 3にはいくつかの興味深い側面があります。大規模言語モデルにおける問題の1つは、訓練データの一部を記憶する可能性があり、プライバシー侵害につながる可能性があります。Googleの研究者はGemma 3をテストし、以前のモデルよりも長編テキストを記憶する率が低いことを発見し、プライバシー保護が向上していることを示唆しています。
詳細に興味がある方は、Gemma 3の技術論文でモデルの能力と開発の詳細な内訳が提供されています。
関連記事
DeepMindのCEOハサビス氏:1日6時間睡眠し、通常午前1時頃に活力を感じます。
フォーチュンは最近、Google DeepMindのCEOであるデミス・ハサビスへのインタビューを掲載し、彼の休息と生産性に対する非伝統的なアプローチを明らかにした。ハサビスは、睡眠時間が非常に短いことを明かし、覚醒時間を2つの明確な作業ブロックに構造化していると語った。彼の睡眠習慣について、ハサビスは「6時間の睡眠を目標としているが、私の習慣は典型的ではない。一日中効果的に機能できる」と述べた。彼は、6時間未満の睡眠は脳の健康に悪影響を及ぼすことを強調した。2010年にDeepMindを共
OpenAIとAnthropic、収益の伸び悩みにもかかわらず市場シェア争いを繰り広げる
OpenAIが収益目標を達成できなかったとする最近の報道を受け、今週火曜日にハイテク株に売り圧力が生じたにもかかわらず、AI研究機関への民間投資家は依然として堅調だ。経験豊富な出資者たちは、メディアによる否定的な報道にもかかわらず、投資額を減らすつもりはないことを明らかにしている。アナリストらは、現在のAI競争はまだ初期段階にあると見ており、「勝者総取り」という結末はあり得ないと見ている。高いコン
カリフォルニア州の自動運転車規制:違反切符、ジオフェンス、そして100万マイルという新たな時代
Guident社は南フロリダでAuveTechのシャトルを運行しており、同社の遠隔監視技術を活用して、ウェストパームビーチでの4マイルのルートとボカラトンでの1マイルのルートを管理している。 | 提供:Guidentカリフォルニア州は、自動運転車の規制環境を再定義しつつあり、テクノロジー業界の「迅速に動き、失敗を恐れない」という考え方から、厳格な説明責任と厳しい走行距離要件へと移行している。Gui
関連特集おすすめ
コメント (12)
0/500
¡Estas mejoras en eficiencia son una locura! 🔥 Si Google logra casi el mismo rendimiento con solo una GPU, ¿esto cambiará por completo el acceso a la IA para pequeños desarrolladores? Aun así, me pregunto cómo manejarán temas como el consumo energético real en uso masivo... 😅
Google's Gemma 3 sounds like a game-changer! 98% of DeepSeek's accuracy with just one GPU? That's some serious efficiency. Curious how this'll shake up the AI startup scene. 🚀
Google's Gemma 3 sounds like a game-changer! 98% of DeepSeek's accuracy with just one GPU? That's some serious efficiency. Curious how this stacks up in real-world apps! 😎
Google's Gemma 3 sounds like a game-changer! Achieving 98% of DeepSeek's accuracy with just one GPU is wild. Makes me wonder how this’ll shake up the AI race—more power to the little guys? 🤔
人工知能の経済学は最近、主要な焦点となっており、特にスタートアップのDeepSeek AIがGPUチップの使用で印象的な規模の経済を示しています。しかし、Googleも負けてはいません。水曜日、このテック大手は最新のオープンソース大規模言語モデル、Gemma 3を公開しました。これはDeepSeekのR1モデルとほぼ同等の精度を持ちながら、はるかに少ない計算能力を使用します。
Googleはこのパフォーマンスを「Elo」スコアを使用して測定しました。これはチェスやスポーツで競争者をランク付けするために一般的に使用されるシステムです。Gemma 3は1338点を獲得し、R1の1363点にわずかに及ばず、技術的にはR1がGemma 3を上回っています。しかし、GoogleはR1のスコアに到達するにはNvidiaのH100 GPUチップが32個必要であると推定していますが、Gemma 3は1つのH100 GPUだけでその結果を達成しています。Googleはこの計算とEloスコアのバランスを「スイートスポット」と称しています。
ブログ投稿で、GoogleはGemma 3を「単一のGPUまたはTPUで実行できる最も能力の高いモデル」と形容し、独自のカスタムAIチップである「テンソル処理ユニット」を指しています。同社は、Gemma 3が「そのサイズに対して最先端のパフォーマンスを提供する」と主張し、Llama-405B、DeepSeek-V3、o3-miniなどのモデルをLMArenaのランキングでの人間の好み評価で上回っています。このパフォーマンスにより、単一のGPUまたはTPUホストで魅力的なユーザー体験を簡単に作成できます。
Google
Googleのモデルは、MetaのLlama 3もEloスコアで上回っており、Googleはこれには16個のGPUが必要だと推定しています。競合モデルのこれらの数値はGoogleの推定であることに注意が必要です。DeepSeek AIは、R1にNvidiaのそれほど強力でないH800 GPUを1,814個使用したことのみを公開しています。
より詳細な情報は、HuggingFaceの開発者ブログ投稿で確認でき、Gemma 3のリポジトリもそこにあります。データセンターではなくデバイス上での使用を想定して設計されたGemma 3は、R1や他のオープンソースモデルに比べてパラメータ数が大幅に少なく、10億から270億の範囲です。現在の基準ではかなり控えめですが、R1は6710億のパラメータを誇り、選択的に370億のみを使用できます。
Gemma 3の効率性の鍵は、広く使用されているAI技術である蒸留にあります。これは、大きなモデルから訓練済みのモデル重みを小さなモデルに移すことで、その能力を向上させるものです。さらに、蒸留されたモデルは3つの品質管理措置を受けます:人間のフィードバックからの強化学習(RLHF)、機械のフィードバックからの強化学習(RLMF)、実行フィードバックからの強化学習(RLEF)。これらはモデルの出力を洗練させ、より役立つものにし、数学やコーディングの能力を向上させます。
Googleの開発者ブログではこれらのアプローチが詳述されており、別の投稿ではモバイルデバイス向けの最小の10億パラメータモデルの最適化技術について議論しています。これには量子化、キー値キャッシュレイアウトの更新、変数読み込み時間の改善、GPUウェイト共有が含まれます。
Googleは、Gemma 3をEloスコアだけでなく、Gemma 2やクローズドソースのGeminiモデルとLiveCodeBenchなどのさまざまなベンチマークで比較しています。Gemma 3は一般にGemini 1.5やGemini 2.0の精度には及ばないものの、Googleは「パラメータ数が少ないにもかかわらず、クローズドGeminiモデルと比較して競争力のあるパフォーマンスを示す」と述べています。
Google
Gemma 2に対するGemma 3の大きなアップグレードは、コンテキストウィンドウが8000トークンから128,000トークンに拡張されたことです。これにより、モデルは論文や本全体などの大きなテキストを処理できます。Gemma 3はマルチモーダルで、テキストと画像の両方の入力を処理でき、Gemma 2の英語のみの機能に比べて140以上の言語をサポートします。
これらの主な機能以外にも、Gemma 3にはいくつかの興味深い側面があります。大規模言語モデルにおける問題の1つは、訓練データの一部を記憶する可能性があり、プライバシー侵害につながる可能性があります。Googleの研究者はGemma 3をテストし、以前のモデルよりも長編テキストを記憶する率が低いことを発見し、プライバシー保護が向上していることを示唆しています。
詳細に興味がある方は、Gemma 3の技術論文でモデルの能力と開発の詳細な内訳が提供されています。
DeepMindのCEOハサビス氏:1日6時間睡眠し、通常午前1時頃に活力を感じます。
フォーチュンは最近、Google DeepMindのCEOであるデミス・ハサビスへのインタビューを掲載し、彼の休息と生産性に対する非伝統的なアプローチを明らかにした。ハサビスは、睡眠時間が非常に短いことを明かし、覚醒時間を2つの明確な作業ブロックに構造化していると語った。彼の睡眠習慣について、ハサビスは「6時間の睡眠を目標としているが、私の習慣は典型的ではない。一日中効果的に機能できる」と述べた。彼は、6時間未満の睡眠は脳の健康に悪影響を及ぼすことを強調した。2010年にDeepMindを共
OpenAIとAnthropic、収益の伸び悩みにもかかわらず市場シェア争いを繰り広げる
OpenAIが収益目標を達成できなかったとする最近の報道を受け、今週火曜日にハイテク株に売り圧力が生じたにもかかわらず、AI研究機関への民間投資家は依然として堅調だ。経験豊富な出資者たちは、メディアによる否定的な報道にもかかわらず、投資額を減らすつもりはないことを明らかにしている。アナリストらは、現在のAI競争はまだ初期段階にあると見ており、「勝者総取り」という結末はあり得ないと見ている。高いコン
¡Estas mejoras en eficiencia son una locura! 🔥 Si Google logra casi el mismo rendimiento con solo una GPU, ¿esto cambiará por completo el acceso a la IA para pequeños desarrolladores? Aun así, me pregunto cómo manejarán temas como el consumo energético real en uso masivo... 😅
Google's Gemma 3 sounds like a game-changer! 98% of DeepSeek's accuracy with just one GPU? That's some serious efficiency. Curious how this'll shake up the AI startup scene. 🚀
Google's Gemma 3 sounds like a game-changer! 98% of DeepSeek's accuracy with just one GPU? That's some serious efficiency. Curious how this stacks up in real-world apps! 😎
Google's Gemma 3 sounds like a game-changer! Achieving 98% of DeepSeek's accuracy with just one GPU is wild. Makes me wonder how this’ll shake up the AI race—more power to the little guys? 🤔





家






