Google'sGemma3は、Deepseekの精度の98%を1つだけGPUで達成しています
人工知能の経済学は最近、主要な焦点となっており、特にスタートアップのDeepSeek AIがGPUチップの使用で印象的な規模の経済を示しています。しかし、Googleも負けてはいません。水曜日、このテック大手は最新のオープンソース大規模言語モデル、Gemma 3を公開しました。これはDeepSeekのR1モデルとほぼ同等の精度を持ちながら、はるかに少ない計算能力を使用します。
Googleはこのパフォーマンスを「Elo」スコアを使用して測定しました。これはチェスやスポーツで競争者をランク付けするために一般的に使用されるシステムです。Gemma 3は1338点を獲得し、R1の1363点にわずかに及ばず、技術的にはR1がGemma 3を上回っています。しかし、GoogleはR1のスコアに到達するにはNvidiaのH100 GPUチップが32個必要であると推定していますが、Gemma 3は1つのH100 GPUだけでその結果を達成しています。Googleはこの計算とEloスコアのバランスを「スイートスポット」と称しています。
ブログ投稿で、GoogleはGemma 3を「単一のGPUまたはTPUで実行できる最も能力の高いモデル」と形容し、独自のカスタムAIチップである「テンソル処理ユニット」を指しています。同社は、Gemma 3が「そのサイズに対して最先端のパフォーマンスを提供する」と主張し、Llama-405B、DeepSeek-V3、o3-miniなどのモデルをLMArenaのランキングでの人間の好み評価で上回っています。このパフォーマンスにより、単一のGPUまたはTPUホストで魅力的なユーザー体験を簡単に作成できます。
Google
Googleのモデルは、MetaのLlama 3もEloスコアで上回っており、Googleはこれには16個のGPUが必要だと推定しています。競合モデルのこれらの数値はGoogleの推定であることに注意が必要です。DeepSeek AIは、R1にNvidiaのそれほど強力でないH800 GPUを1,814個使用したことのみを公開しています。
より詳細な情報は、HuggingFaceの開発者ブログ投稿で確認でき、Gemma 3のリポジトリもそこにあります。データセンターではなくデバイス上での使用を想定して設計されたGemma 3は、R1や他のオープンソースモデルに比べてパラメータ数が大幅に少なく、10億から270億の範囲です。現在の基準ではかなり控えめですが、R1は6710億のパラメータを誇り、選択的に370億のみを使用できます。
Gemma 3の効率性の鍵は、広く使用されているAI技術である蒸留にあります。これは、大きなモデルから訓練済みのモデル重みを小さなモデルに移すことで、その能力を向上させるものです。さらに、蒸留されたモデルは3つの品質管理措置を受けます:人間のフィードバックからの強化学習(RLHF)、機械のフィードバックからの強化学習(RLMF)、実行フィードバックからの強化学習(RLEF)。これらはモデルの出力を洗練させ、より役立つものにし、数学やコーディングの能力を向上させます。
Googleの開発者ブログではこれらのアプローチが詳述されており、別の投稿ではモバイルデバイス向けの最小の10億パラメータモデルの最適化技術について議論しています。これには量子化、キー値キャッシュレイアウトの更新、変数読み込み時間の改善、GPUウェイト共有が含まれます。
Googleは、Gemma 3をEloスコアだけでなく、Gemma 2やクローズドソースのGeminiモデルとLiveCodeBenchなどのさまざまなベンチマークで比較しています。Gemma 3は一般にGemini 1.5やGemini 2.0の精度には及ばないものの、Googleは「パラメータ数が少ないにもかかわらず、クローズドGeminiモデルと比較して競争力のあるパフォーマンスを示す」と述べています。
Google
Gemma 2に対するGemma 3の大きなアップグレードは、コンテキストウィンドウが8000トークンから128,000トークンに拡張されたことです。これにより、モデルは論文や本全体などの大きなテキストを処理できます。Gemma 3はマルチモーダルで、テキストと画像の両方の入力を処理でき、Gemma 2の英語のみの機能に比べて140以上の言語をサポートします。
これらの主な機能以外にも、Gemma 3にはいくつかの興味深い側面があります。大規模言語モデルにおける問題の1つは、訓練データの一部を記憶する可能性があり、プライバシー侵害につながる可能性があります。Googleの研究者はGemma 3をテストし、以前のモデルよりも長編テキストを記憶する率が低いことを発見し、プライバシー保護が向上していることを示唆しています。
詳細に興味がある方は、Gemma 3の技術論文でモデルの能力と開発の詳細な内訳が提供されています。
関連記事
内部詳細が明かされた次世代ジェミニ:計算リソースの逼迫、開発チーム間で優先順位とリソース配分を巡り意見が割れた
報告によると、Googleの次世代Geminiモデルの発売は延期された。開発の優先順位とリソース配分をめぐる社内での意見の相違、限られた計算能力、複雑な承認手続きが重なり、2ヶ月の延期を余儀なくされた。独自開発のTPUチップを所有しているものの、モデルのトレーニング、Google Cloudサービス、多数の消費者向けおよび企業向けAIアプリケーションからの競合する需要により、Googleは計算資源の不足に直面している。上層部は現在、組織再編成を通じてこれらの部門間の対立に対処している。同時に、リ
OpenAI、成長鈍化への懸念を退け、複数の事業部門が加速していると表明
外部からの販売成長の鈍化や社内目標の未達に関する scrutiny に対応し、AI リーダーである OpenAI は 4 月 28 日(火曜日)、自信に満ちた声明を発表した。同社は、消費者向け製品とエンタープライズサービスが急速に進展しており、最近のビジネス減速に関する憶測を直接否定していると明らかにした。同社が「複数の社内目標を逸脱した」とする主張に対し、OpenAI はこれらの報道を「典型的なクリックベイト」と一蹴した。同社は、AI 統合に対する堅調なエンタープライズ需要を強調し、広告施策
アリババ・スーパーカップ:Qwen3.8-Max、強化されたコーディング機能とオフィスツールを搭載してデビュー
アリババは公式に、2.4兆パラメータを備えた次世代の基盤大規模モデル「Qwen3.8-Max」を発表しました。この重要なAIの進歩は、コーディングや専門的なオフィス業務といった中核領域において大幅なパフォーマンス向上をもたらし、堅牢な技術能力を示しています。権威あるArena大規模モデルランキングにおいて、Qwen3.8-Maxは目覚ましい結果を残し、AnthropicのClaudeシリーズに次ぐ順位で、業界リーダーの仲間入りを果たしました。このマイルストーンは、複雑なタスクの処理における国内
関連特集おすすめ
コメント (12)
0/500
¡Estas mejoras en eficiencia son una locura! 🔥 Si Google logra casi el mismo rendimiento con solo una GPU, ¿esto cambiará por completo el acceso a la IA para pequeños desarrolladores? Aun así, me pregunto cómo manejarán temas como el consumo energético real en uso masivo... 😅
Google's Gemma 3 sounds like a game-changer! 98% of DeepSeek's accuracy with just one GPU? That's some serious efficiency. Curious how this'll shake up the AI startup scene. 🚀
Google's Gemma 3 sounds like a game-changer! 98% of DeepSeek's accuracy with just one GPU? That's some serious efficiency. Curious how this stacks up in real-world apps! 😎
Google's Gemma 3 sounds like a game-changer! Achieving 98% of DeepSeek's accuracy with just one GPU is wild. Makes me wonder how this’ll shake up the AI race—more power to the little guys? 🤔
人工知能の経済学は最近、主要な焦点となっており、特にスタートアップのDeepSeek AIがGPUチップの使用で印象的な規模の経済を示しています。しかし、Googleも負けてはいません。水曜日、このテック大手は最新のオープンソース大規模言語モデル、Gemma 3を公開しました。これはDeepSeekのR1モデルとほぼ同等の精度を持ちながら、はるかに少ない計算能力を使用します。
Googleはこのパフォーマンスを「Elo」スコアを使用して測定しました。これはチェスやスポーツで競争者をランク付けするために一般的に使用されるシステムです。Gemma 3は1338点を獲得し、R1の1363点にわずかに及ばず、技術的にはR1がGemma 3を上回っています。しかし、GoogleはR1のスコアに到達するにはNvidiaのH100 GPUチップが32個必要であると推定していますが、Gemma 3は1つのH100 GPUだけでその結果を達成しています。Googleはこの計算とEloスコアのバランスを「スイートスポット」と称しています。
ブログ投稿で、GoogleはGemma 3を「単一のGPUまたはTPUで実行できる最も能力の高いモデル」と形容し、独自のカスタムAIチップである「テンソル処理ユニット」を指しています。同社は、Gemma 3が「そのサイズに対して最先端のパフォーマンスを提供する」と主張し、Llama-405B、DeepSeek-V3、o3-miniなどのモデルをLMArenaのランキングでの人間の好み評価で上回っています。このパフォーマンスにより、単一のGPUまたはTPUホストで魅力的なユーザー体験を簡単に作成できます。
Google
Googleのモデルは、MetaのLlama 3もEloスコアで上回っており、Googleはこれには16個のGPUが必要だと推定しています。競合モデルのこれらの数値はGoogleの推定であることに注意が必要です。DeepSeek AIは、R1にNvidiaのそれほど強力でないH800 GPUを1,814個使用したことのみを公開しています。
より詳細な情報は、HuggingFaceの開発者ブログ投稿で確認でき、Gemma 3のリポジトリもそこにあります。データセンターではなくデバイス上での使用を想定して設計されたGemma 3は、R1や他のオープンソースモデルに比べてパラメータ数が大幅に少なく、10億から270億の範囲です。現在の基準ではかなり控えめですが、R1は6710億のパラメータを誇り、選択的に370億のみを使用できます。
Gemma 3の効率性の鍵は、広く使用されているAI技術である蒸留にあります。これは、大きなモデルから訓練済みのモデル重みを小さなモデルに移すことで、その能力を向上させるものです。さらに、蒸留されたモデルは3つの品質管理措置を受けます:人間のフィードバックからの強化学習(RLHF)、機械のフィードバックからの強化学習(RLMF)、実行フィードバックからの強化学習(RLEF)。これらはモデルの出力を洗練させ、より役立つものにし、数学やコーディングの能力を向上させます。
Googleの開発者ブログではこれらのアプローチが詳述されており、別の投稿ではモバイルデバイス向けの最小の10億パラメータモデルの最適化技術について議論しています。これには量子化、キー値キャッシュレイアウトの更新、変数読み込み時間の改善、GPUウェイト共有が含まれます。
Googleは、Gemma 3をEloスコアだけでなく、Gemma 2やクローズドソースのGeminiモデルとLiveCodeBenchなどのさまざまなベンチマークで比較しています。Gemma 3は一般にGemini 1.5やGemini 2.0の精度には及ばないものの、Googleは「パラメータ数が少ないにもかかわらず、クローズドGeminiモデルと比較して競争力のあるパフォーマンスを示す」と述べています。
Google
Gemma 2に対するGemma 3の大きなアップグレードは、コンテキストウィンドウが8000トークンから128,000トークンに拡張されたことです。これにより、モデルは論文や本全体などの大きなテキストを処理できます。Gemma 3はマルチモーダルで、テキストと画像の両方の入力を処理でき、Gemma 2の英語のみの機能に比べて140以上の言語をサポートします。
これらの主な機能以外にも、Gemma 3にはいくつかの興味深い側面があります。大規模言語モデルにおける問題の1つは、訓練データの一部を記憶する可能性があり、プライバシー侵害につながる可能性があります。Googleの研究者はGemma 3をテストし、以前のモデルよりも長編テキストを記憶する率が低いことを発見し、プライバシー保護が向上していることを示唆しています。
詳細に興味がある方は、Gemma 3の技術論文でモデルの能力と開発の詳細な内訳が提供されています。
内部詳細が明かされた次世代ジェミニ:計算リソースの逼迫、開発チーム間で優先順位とリソース配分を巡り意見が割れた
報告によると、Googleの次世代Geminiモデルの発売は延期された。開発の優先順位とリソース配分をめぐる社内での意見の相違、限られた計算能力、複雑な承認手続きが重なり、2ヶ月の延期を余儀なくされた。独自開発のTPUチップを所有しているものの、モデルのトレーニング、Google Cloudサービス、多数の消費者向けおよび企業向けAIアプリケーションからの競合する需要により、Googleは計算資源の不足に直面している。上層部は現在、組織再編成を通じてこれらの部門間の対立に対処している。同時に、リ
OpenAI、成長鈍化への懸念を退け、複数の事業部門が加速していると表明
外部からの販売成長の鈍化や社内目標の未達に関する scrutiny に対応し、AI リーダーである OpenAI は 4 月 28 日(火曜日)、自信に満ちた声明を発表した。同社は、消費者向け製品とエンタープライズサービスが急速に進展しており、最近のビジネス減速に関する憶測を直接否定していると明らかにした。同社が「複数の社内目標を逸脱した」とする主張に対し、OpenAI はこれらの報道を「典型的なクリックベイト」と一蹴した。同社は、AI 統合に対する堅調なエンタープライズ需要を強調し、広告施策
アリババ・スーパーカップ:Qwen3.8-Max、強化されたコーディング機能とオフィスツールを搭載してデビュー
アリババは公式に、2.4兆パラメータを備えた次世代の基盤大規模モデル「Qwen3.8-Max」を発表しました。この重要なAIの進歩は、コーディングや専門的なオフィス業務といった中核領域において大幅なパフォーマンス向上をもたらし、堅牢な技術能力を示しています。権威あるArena大規模モデルランキングにおいて、Qwen3.8-Maxは目覚ましい結果を残し、AnthropicのClaudeシリーズに次ぐ順位で、業界リーダーの仲間入りを果たしました。このマイルストーンは、複雑なタスクの処理における国内
¡Estas mejoras en eficiencia son una locura! 🔥 Si Google logra casi el mismo rendimiento con solo una GPU, ¿esto cambiará por completo el acceso a la IA para pequeños desarrolladores? Aun así, me pregunto cómo manejarán temas como el consumo energético real en uso masivo... 😅
Google's Gemma 3 sounds like a game-changer! 98% of DeepSeek's accuracy with just one GPU? That's some serious efficiency. Curious how this'll shake up the AI startup scene. 🚀
Google's Gemma 3 sounds like a game-changer! 98% of DeepSeek's accuracy with just one GPU? That's some serious efficiency. Curious how this stacks up in real-world apps! 😎
Google's Gemma 3 sounds like a game-changer! Achieving 98% of DeepSeek's accuracy with just one GPU is wild. Makes me wonder how this’ll shake up the AI race—more power to the little guys? 🤔





家






