Google'sGemma3は、Deepseekの精度の98％を1つだけGPUで達成しています

人工知能の経済学は最近、特にGPUチップを使用する際に印象的な規模の経済を紹介するスタートアップDeepseek AIを紹介することで、大きな焦点となっています。しかし、グーグルは負けそうにない。水曜日に、Tech Giantは、DeepseekのR1モデルの精度にほぼ一致する最新のオープンソースの大規模な言語モデルであるGemma 3を発表しましたが、コンピューティングパワーを大幅に使用します。

Googleは、競合他社をランク付けするためにチェスやスポーツで一般的に使用されるシステムである「ELO」スコアを使用してこのパフォーマンスを測定しました。 Gemma 3は1338を獲得しました。これはR1の1363をわずかに恥ずかしがり屋で、R1はGemma 3を技術的に上回ることを意味します。しかし、GoogleはNVIDIAのH100 GPUチップのうち32がR1のスコアに達すると推定し、Gemma 3はH100 GPUのみで結果を達成します。 Googleは、このコンピューティングとELOスコアのバランスを「スイートスポット」として宣伝しています。

Googleはブログ投稿で、Gemma 3を「単一のGPUまたはTPUで実行できる最も有能なモデル」と説明しています。独自のカスタムAIチップ「テンソル処理ユニット」を参照しています。同社は、Gemma 3がLLAMA-405B、DeepSeek-V3、O3-MINIなどのモデルをLmarenaのリーダーボードでの人間の好み評価において「最先端のパフォーマンスを提供する」と主張しています。このパフォーマンスにより、単一のGPUまたはTPUホストで魅力的なユーザーエクスペリエンスを簡単に作成できます。

グーグル

Googleのモデルは、ELOスコアのMetaのLlama 3を上回り、Googleは16 GPUを必要とすると推定しています。競合するモデルのこれらの数値がGoogleの推定であることは注目に値します。 Deepseek AIは、R1にNvidiaの強力でないH800 GPUの1,814を使用して開示しています。

Gemma 3リポジトリが利用できるHuggingfaceの開発者ブログ投稿には、詳細な情報があります。データセンターではなくデバイス上の使用のために設計されたGemma 3は、R1やその他のオープンソースモデルと比較して、かなり少ないパラメーターを持っています。パラメーター数は10億から270億の範囲であるため、Gemma 3は現在の標準では非常に控えめですが、R1は370億を選択的に使用できますが、671億億6,100万のパラメーターを誇っています。

Gemma 3の効率の鍵は、蒸留と呼ばれる広く使用されているAI技術であり、より大きなモデルからの訓練されたモデルの重みがより小さなモデルに転送され、その機能が向上します。さらに、蒸留モデルは、人間のフィードバック（RLHF）からの強化学習、機械フィードバック（RLMF）からの強化学習、および実行フィードバック（RLEF）からの補強学習の3つの品質管理測定値を遂げます。これらは、モデルの出力を改良するのに役立ち、それらをより役立たせ、数学とコーディング能力を改善します。

Googleの開発者ブログはこれらのアプローチを詳述しており、別の投稿では、モバイルデバイスを対象とした10億個のパラメーターモデルの最適化手法について説明します。これらには、量子化、キー価値のキャッシュレイアウトの更新、変動荷重時間の改善、GPUの重量共有が含まれます。

Googleは、Gemma 3をELOスコアだけでなく、前任者のGemma 2とLiveCodebenchなどのさまざまなベンチマークで閉鎖型Geminiモデルと比較しています。 Gemma 3は一般的にGemini 1.5とGemini 2.0に達していませんが、Googleはパラメーターが少ないにもかかわらず、「閉じたGeminiモデルと比較して競争力のあるパフォーマンスを示す」と指摘しています。

グーグル

Gemma 2上のGemma 3の大幅なアップグレードは、その長い「コンテキストウィンドウ」であり、8,000から128,000のトークンに拡大します。これにより、モデルは論文や本のようなより大きなテキストを処理できます。 Gemma 3はマルチモーダルでもあり、前身とは異なり、テキストと画像の入力の両方を処理できます。さらに、140を超える言語をサポートしており、Gemma 2の英語のみの機能よりも大幅に改善されています。

これらの主な機能を超えて、Gemma 3には他にもいくつかの興味深い側面があります。大きな言語モデルの1つの問題は、トレーニングデータの一部を記憶する可能性があり、プライバシー侵害につながる可能性があります。 Googleの研究者はGemma 3をテストし、前任者よりも低いレートで長型のテキストを記憶していることを発見し、プライバシー保護の改善を示唆しています。

Nitty-Grittyに興味がある人のために、Gemma 3の技術論文は、モデルの能力と開発の徹底的な内訳を提供します。