Googleは新しいチップを発表して主要な隠しaiコストを削減します

Google Cloud Next 25イベントで、Googleは最新のTensor Processing Unit（TPU）であるIronwoodを発表しました。この新チップは、Googleの焦点がトレーニングから推論へと大きくシフトしたことを示しています。従来、TPUはAI専門家やデータサイエンティストが主導するニューラルネットワークのトレーニングに使用されてきました。しかし、Ironwoodでは、Googleは数百万、場合によっては数十億のユーザーのリアルタイム予測ニーズをターゲットにしています。

Ironwood TPU

Ironwood TPUの発売は、AI業界において実験的プロジェクトからビジネスによるAIモデルの実際の応用へと焦点が移っている重要な時期に起こりました。GoogleのGeminiのような高度なAIモデルが推論能力を向上させる中、推論時の計算需要が急増しています。このシフトはコストを押し上げており、GoogleはIronwoodの説明で次のように述べています：「推論と多段階推論が、計算の増分需要——したがってコスト——をトレーニングから推論時間（テスト時間スケーリング）に移しています。」Ironwoodは、特にコストが増大する推論の領域での性能と効率の最適化に対するGoogleのコミットメントを表しています。

推論チップ

GoogleのTPUの歴史は10年以上にわたり、Ironwood以前に6世代が存在しました。トレーニングチップは少量生産ですが、推論チップは訓練済みモデルから日常的な予測を必要とする幅広いユーザーを対象とし、高量市場です。以前、Googleの6世代目TPUであるTrilliumは、トレーニングと推論の両方に対応可能とされていました。しかし、Ironwoodが主に推論に焦点を当てていることは、この二目的アプローチからの顕著な変化を示しています。

必要な投資

この焦点の変化は、GoogleがIntel、AMD、Nvidiaなどの外部チップメーカーに依存する姿勢の変化を示す可能性があります。歴史的に、これらのベンダーはKeyBanc Capital Marketsによると、Googleのクラウドコンピューティング運用で使用されるプロセッサの99%を占めていました。独自のTPUに投資することで、Googleはこれらのサプライヤーへの依存を減らし、AIインフラのコスト上昇を抑えることを目指している可能性があります。DA DavidsonのGil Luriaなどの株アナリストは、GoogleがTPUをNvidiaの顧客に直接販売した場合、昨年最大240億ドルの収益を上げていた可能性があると推定しています。

Ironwood vs. Trillium

Googleはイベントで、IronwoodがTrilliumに対する技術的優位性を示しました。Ironwoodはワットあたり2倍の性能を誇り、毎秒29.3兆の浮動小数点演算を達成します。また、192GBの高帯域幅メモリ（HBM）を搭載し、これはTrilliumの6倍、メモリ帯域幅は毎秒7.2テラビットで、4.5倍高いです。これらの強化は、Googleが述べたように、「Ironwoodは、大量のテンソル操作を実行しながら、チップ上のデータ移動とレイテンシを最小限に抑えるように設計されています。」テンソル操作中のデータ移動を促進し、レイテンシを削減することを目的としています。

AIインフラのスケーリング

メモリと帯域幅の進歩は、GoogleのAIインフラをスケーリングする戦略の中心です。スケーリングは、グループ化されたチップを効率的に活用して並列に問題を解決し、性能と利用率を向上させることを含みます。これは経済的な理由から重要であり、利用率が高いほど高コストなリソースの無駄が減ります。Googleは以前、Trilliumが数十万のチップにスケールする能力を強調しましたが、同様に、Ironwoodが「数十万のIronwoodチップを組み合わせてGenAI計算のフロンティアを急速に進める」能力を強調しました。

ハードウェアの発表と同時に、GoogleはPathways on Cloudも紹介しました。これは、AIコンピューティングタスクを異なるマシンに分散するソフトウェアソリューションです。以前は内部で使用されていたこのソフトウェアは、現在一般公開されており、GoogleのAIインフラの能力をさらに強化しています。