Google'sGemma3は、Deepseekの精度の98%を1つだけGPUで達成しています
人工知能の経済学は最近、主要な焦点となっており、特にスタートアップのDeepSeek AIがGPUチップの使用で印象的な規模の経済を示しています。しかし、Googleも負けてはいません。水曜日、このテック大手は最新のオープンソース大規模言語モデル、Gemma 3を公開しました。これはDeepSeekのR1モデルとほぼ同等の精度を持ちながら、はるかに少ない計算能力を使用します。
Googleはこのパフォーマンスを「Elo」スコアを使用して測定しました。これはチェスやスポーツで競争者をランク付けするために一般的に使用されるシステムです。Gemma 3は1338点を獲得し、R1の1363点にわずかに及ばず、技術的にはR1がGemma 3を上回っています。しかし、GoogleはR1のスコアに到達するにはNvidiaのH100 GPUチップが32個必要であると推定していますが、Gemma 3は1つのH100 GPUだけでその結果を達成しています。Googleはこの計算とEloスコアのバランスを「スイートスポット」と称しています。
ブログ投稿で、GoogleはGemma 3を「単一のGPUまたはTPUで実行できる最も能力の高いモデル」と形容し、独自のカスタムAIチップである「テンソル処理ユニット」を指しています。同社は、Gemma 3が「そのサイズに対して最先端のパフォーマンスを提供する」と主張し、Llama-405B、DeepSeek-V3、o3-miniなどのモデルをLMArenaのランキングでの人間の好み評価で上回っています。このパフォーマンスにより、単一のGPUまたはTPUホストで魅力的なユーザー体験を簡単に作成できます。
Google
Googleのモデルは、MetaのLlama 3もEloスコアで上回っており、Googleはこれには16個のGPUが必要だと推定しています。競合モデルのこれらの数値はGoogleの推定であることに注意が必要です。DeepSeek AIは、R1にNvidiaのそれほど強力でないH800 GPUを1,814個使用したことのみを公開しています。
より詳細な情報は、HuggingFaceの開発者ブログ投稿で確認でき、Gemma 3のリポジトリもそこにあります。データセンターではなくデバイス上での使用を想定して設計されたGemma 3は、R1や他のオープンソースモデルに比べてパラメータ数が大幅に少なく、10億から270億の範囲です。現在の基準ではかなり控えめですが、R1は6710億のパラメータを誇り、選択的に370億のみを使用できます。
Gemma 3の効率性の鍵は、広く使用されているAI技術である蒸留にあります。これは、大きなモデルから訓練済みのモデル重みを小さなモデルに移すことで、その能力を向上させるものです。さらに、蒸留されたモデルは3つの品質管理措置を受けます:人間のフィードバックからの強化学習(RLHF)、機械のフィードバックからの強化学習(RLMF)、実行フィードバックからの強化学習(RLEF)。これらはモデルの出力を洗練させ、より役立つものにし、数学やコーディングの能力を向上させます。
Googleの開発者ブログではこれらのアプローチが詳述されており、別の投稿ではモバイルデバイス向けの最小の10億パラメータモデルの最適化技術について議論しています。これには量子化、キー値キャッシュレイアウトの更新、変数読み込み時間の改善、GPUウェイト共有が含まれます。
Googleは、Gemma 3をEloスコアだけでなく、Gemma 2やクローズドソースのGeminiモデルとLiveCodeBenchなどのさまざまなベンチマークで比較しています。Gemma 3は一般にGemini 1.5やGemini 2.0の精度には及ばないものの、Googleは「パラメータ数が少ないにもかかわらず、クローズドGeminiモデルと比較して競争力のあるパフォーマンスを示す」と述べています。
Google
Gemma 2に対するGemma 3の大きなアップグレードは、コンテキストウィンドウが8000トークンから128,000トークンに拡張されたことです。これにより、モデルは論文や本全体などの大きなテキストを処理できます。Gemma 3はマルチモーダルで、テキストと画像の両方の入力を処理でき、Gemma 2の英語のみの機能に比べて140以上の言語をサポートします。
これらの主な機能以外にも、Gemma 3にはいくつかの興味深い側面があります。大規模言語モデルにおける問題の1つは、訓練データの一部を記憶する可能性があり、プライバシー侵害につながる可能性があります。Googleの研究者はGemma 3をテストし、以前のモデルよりも長編テキストを記憶する率が低いことを発見し、プライバシー保護が向上していることを示唆しています。
詳細に興味がある方は、Gemma 3の技術論文でモデルの能力と開発の詳細な内訳が提供されています。
関連記事
サティヤ・ナデラ、新たなOpenAIとの契約を活用する準備ができている
水曜日に、ウォール・ストリートのアナリストがマイクロソフトのCEOであるサティヤ・ナデラ氏に直接尋ねました。改正されたOpenAIとの提携関係が同社の財務状況にどのような影響を与えるのかと。ナデラ氏はこの新しい協定を「皆にとっての勝利」と表現しました。「OpenAIとの提携については満足しています。私は常にどんな提携でもウィンウィンの関係を築くことに重点を置いています。そうすることで、長期的に良いパートナーシップを維持できるからです。」彼は、マイクロソフトが依然としてOpenAIの知的財産、
WordPress.comでは、AIエージェントによる投稿の作成や公開が可能になりました。その他にもさまざまな機能が追加されています。
人気のウェブホスティング・パブリッシングプラットフォームであるWordPress.comが、AIエージェントの導入に乗り出した。この動きは、ウェブのあり方を一変させる可能性がある。同社は金曜日、AIエージェントが顧客のウェブサイト上でコンテンツの下書き作成、編集、公開を行うほか、コメントの管理、メタデータの更新・修正、タグやカテゴリを用いたコンテンツの整理も可能になると発表した。これらすべての操作
Anthropic社の実験用AI「Claude」が、Eコマースのテストにおいて交渉と取引を完了した
人工知能(AI)が急速に進化する中、Anthropicは先週金曜日、「Project Deal」と呼ばれる社内実験をひっそりと開始し、EコマースにおけるAIの可能性を披露した。この実験では、同社のAIモデル「Claude」が、実際の金銭取引を伴うクローズドな市場環境において、購入、販売、価格交渉を自律的に行うよう設計された。実験の中核となったのは、Slack上に構築された社内マーケットプレイスであ
関連特集おすすめ
コメント (12)
0/500
¡Estas mejoras en eficiencia son una locura! 🔥 Si Google logra casi el mismo rendimiento con solo una GPU, ¿esto cambiará por completo el acceso a la IA para pequeños desarrolladores? Aun así, me pregunto cómo manejarán temas como el consumo energético real en uso masivo... 😅
Google's Gemma 3 sounds like a game-changer! 98% of DeepSeek's accuracy with just one GPU? That's some serious efficiency. Curious how this'll shake up the AI startup scene. 🚀
Google's Gemma 3 sounds like a game-changer! 98% of DeepSeek's accuracy with just one GPU? That's some serious efficiency. Curious how this stacks up in real-world apps! 😎
Google's Gemma 3 sounds like a game-changer! Achieving 98% of DeepSeek's accuracy with just one GPU is wild. Makes me wonder how this’ll shake up the AI race—more power to the little guys? 🤔
人工知能の経済学は最近、主要な焦点となっており、特にスタートアップのDeepSeek AIがGPUチップの使用で印象的な規模の経済を示しています。しかし、Googleも負けてはいません。水曜日、このテック大手は最新のオープンソース大規模言語モデル、Gemma 3を公開しました。これはDeepSeekのR1モデルとほぼ同等の精度を持ちながら、はるかに少ない計算能力を使用します。
Googleはこのパフォーマンスを「Elo」スコアを使用して測定しました。これはチェスやスポーツで競争者をランク付けするために一般的に使用されるシステムです。Gemma 3は1338点を獲得し、R1の1363点にわずかに及ばず、技術的にはR1がGemma 3を上回っています。しかし、GoogleはR1のスコアに到達するにはNvidiaのH100 GPUチップが32個必要であると推定していますが、Gemma 3は1つのH100 GPUだけでその結果を達成しています。Googleはこの計算とEloスコアのバランスを「スイートスポット」と称しています。
ブログ投稿で、GoogleはGemma 3を「単一のGPUまたはTPUで実行できる最も能力の高いモデル」と形容し、独自のカスタムAIチップである「テンソル処理ユニット」を指しています。同社は、Gemma 3が「そのサイズに対して最先端のパフォーマンスを提供する」と主張し、Llama-405B、DeepSeek-V3、o3-miniなどのモデルをLMArenaのランキングでの人間の好み評価で上回っています。このパフォーマンスにより、単一のGPUまたはTPUホストで魅力的なユーザー体験を簡単に作成できます。
Google
Googleのモデルは、MetaのLlama 3もEloスコアで上回っており、Googleはこれには16個のGPUが必要だと推定しています。競合モデルのこれらの数値はGoogleの推定であることに注意が必要です。DeepSeek AIは、R1にNvidiaのそれほど強力でないH800 GPUを1,814個使用したことのみを公開しています。
より詳細な情報は、HuggingFaceの開発者ブログ投稿で確認でき、Gemma 3のリポジトリもそこにあります。データセンターではなくデバイス上での使用を想定して設計されたGemma 3は、R1や他のオープンソースモデルに比べてパラメータ数が大幅に少なく、10億から270億の範囲です。現在の基準ではかなり控えめですが、R1は6710億のパラメータを誇り、選択的に370億のみを使用できます。
Gemma 3の効率性の鍵は、広く使用されているAI技術である蒸留にあります。これは、大きなモデルから訓練済みのモデル重みを小さなモデルに移すことで、その能力を向上させるものです。さらに、蒸留されたモデルは3つの品質管理措置を受けます:人間のフィードバックからの強化学習(RLHF)、機械のフィードバックからの強化学習(RLMF)、実行フィードバックからの強化学習(RLEF)。これらはモデルの出力を洗練させ、より役立つものにし、数学やコーディングの能力を向上させます。
Googleの開発者ブログではこれらのアプローチが詳述されており、別の投稿ではモバイルデバイス向けの最小の10億パラメータモデルの最適化技術について議論しています。これには量子化、キー値キャッシュレイアウトの更新、変数読み込み時間の改善、GPUウェイト共有が含まれます。
Googleは、Gemma 3をEloスコアだけでなく、Gemma 2やクローズドソースのGeminiモデルとLiveCodeBenchなどのさまざまなベンチマークで比較しています。Gemma 3は一般にGemini 1.5やGemini 2.0の精度には及ばないものの、Googleは「パラメータ数が少ないにもかかわらず、クローズドGeminiモデルと比較して競争力のあるパフォーマンスを示す」と述べています。
Google
Gemma 2に対するGemma 3の大きなアップグレードは、コンテキストウィンドウが8000トークンから128,000トークンに拡張されたことです。これにより、モデルは論文や本全体などの大きなテキストを処理できます。Gemma 3はマルチモーダルで、テキストと画像の両方の入力を処理でき、Gemma 2の英語のみの機能に比べて140以上の言語をサポートします。
これらの主な機能以外にも、Gemma 3にはいくつかの興味深い側面があります。大規模言語モデルにおける問題の1つは、訓練データの一部を記憶する可能性があり、プライバシー侵害につながる可能性があります。Googleの研究者はGemma 3をテストし、以前のモデルよりも長編テキストを記憶する率が低いことを発見し、プライバシー保護が向上していることを示唆しています。
詳細に興味がある方は、Gemma 3の技術論文でモデルの能力と開発の詳細な内訳が提供されています。
サティヤ・ナデラ、新たなOpenAIとの契約を活用する準備ができている
水曜日に、ウォール・ストリートのアナリストがマイクロソフトのCEOであるサティヤ・ナデラ氏に直接尋ねました。改正されたOpenAIとの提携関係が同社の財務状況にどのような影響を与えるのかと。ナデラ氏はこの新しい協定を「皆にとっての勝利」と表現しました。「OpenAIとの提携については満足しています。私は常にどんな提携でもウィンウィンの関係を築くことに重点を置いています。そうすることで、長期的に良いパートナーシップを維持できるからです。」彼は、マイクロソフトが依然としてOpenAIの知的財産、
WordPress.comでは、AIエージェントによる投稿の作成や公開が可能になりました。その他にもさまざまな機能が追加されています。
人気のウェブホスティング・パブリッシングプラットフォームであるWordPress.comが、AIエージェントの導入に乗り出した。この動きは、ウェブのあり方を一変させる可能性がある。同社は金曜日、AIエージェントが顧客のウェブサイト上でコンテンツの下書き作成、編集、公開を行うほか、コメントの管理、メタデータの更新・修正、タグやカテゴリを用いたコンテンツの整理も可能になると発表した。これらすべての操作
Anthropic社の実験用AI「Claude」が、Eコマースのテストにおいて交渉と取引を完了した
人工知能(AI)が急速に進化する中、Anthropicは先週金曜日、「Project Deal」と呼ばれる社内実験をひっそりと開始し、EコマースにおけるAIの可能性を披露した。この実験では、同社のAIモデル「Claude」が、実際の金銭取引を伴うクローズドな市場環境において、購入、販売、価格交渉を自律的に行うよう設計された。実験の中核となったのは、Slack上に構築された社内マーケットプレイスであ
¡Estas mejoras en eficiencia son una locura! 🔥 Si Google logra casi el mismo rendimiento con solo una GPU, ¿esto cambiará por completo el acceso a la IA para pequeños desarrolladores? Aun así, me pregunto cómo manejarán temas como el consumo energético real en uso masivo... 😅
Google's Gemma 3 sounds like a game-changer! 98% of DeepSeek's accuracy with just one GPU? That's some serious efficiency. Curious how this'll shake up the AI startup scene. 🚀
Google's Gemma 3 sounds like a game-changer! 98% of DeepSeek's accuracy with just one GPU? That's some serious efficiency. Curious how this stacks up in real-world apps! 😎
Google's Gemma 3 sounds like a game-changer! Achieving 98% of DeepSeek's accuracy with just one GPU is wild. Makes me wonder how this’ll shake up the AI race—more power to the little guys? 🤔





家






