テスラ・ドジョ・アイ・スーパーコンピューターのためのイーロン・マスクの野心的な計画が発表された

長年にわたり、イーロン・マスクはテスラのAI野心の中心にあるAIスーパーコンピュータ、Dojoについて公に語ってきました。2024年7月、マスクはその重要性を強調し、10月の待望のロボタクシー公開を前に、テスラのAIチームがDojoへの取り組みを強化すると発表しました。

では、Dojoとは一体何であり、なぜテスラの長期戦略にとってそれほど重要なのでしょうか？

本質的に、Dojoはテスラが「完全自動運転」（FSD）ニューラルネットワークを訓練するために設計した特注のスーパーコンピュータです。Dojoの強化は、完全自動運転機能の達成とロボタクシーサービスの開始というテスラの目標と密接に関連しています。現在、数十万台のテスラ車両に搭載されているFSDは、特定の自動運転タスクを処理できますが、依然として人間のドライバーの注意が必要です。

10月のCybercab公開に続き、テスラは自社の車両群を使用して、今年6月にオースティンで自動運転ライドヘイルサービスを開始する予定です。2024年1月の第4四半期および通年決算発表で、テスラは2025年に米国顧客向けに監督なしのFSDを導入する計画を発表しました。

マスクが以前、Dojoがテスラの完全自動運転の野心の鍵であると主張していたにもかかわらず、目標が近づくにつれてこの話題については比較的静かでした。2024年8月以降、話題はテスラのオースティン本社にある新しいAIトレーニングスーパークラスター、Cortexに移っています。マスクはCortexについて「FSDとOptimusのビデオトレーニングのための大規模なストレージを持つ」と述べました。

テスラの第4四半期株主向け資料ではCortexの更新が提供されましたが、Dojoについては触れられませんでした。テスラは明らかに、車両とヒューマノイドロボットの両方で自律性を達成するために、DojoやCortexを含むAIに多額の投資を行っています。EV市場がますます競争的になる中、テスラの将来の成功はこれらの技術の習得に大きく依存しています。

テスラのDojoの背景

イーロン・マスクのテスラのビジョンは、単に車、ソーラーパネル、エネルギー貯蔵システムの製造にとどまりません。彼はテスラをAIの強豪とし、人間の知覚を模倣する自動運転技術を開拓したいと考えています。

ライダー、レーダー、カメラ、そして高精細マップを組み合わせる他の多くの自動運転技術企業とは異なり、テスラはカメラのみを使用して完全な自律性を達成することを目指しています。これらのカメラは視覚データを収集し、高度なニューラルネットワークによってリアルタイムの運転決定が処理されます。

2021年のテスラ初のAIデーでは、元AI責任者のアンドレイ・カルパシーが、同社の目標を「ゼロから合成動物を構築する」ことに例えました。マスクは2019年からDojoについてほのめかしていましたが、AIデーで正式に公開されました。

アルファベットのWaymoのような企業がレベル4の自動運転車を商業化している一方で、テスラのシステムは依然として人間のドライバーを必要とします。180万人以上がテスラのFSDに加入しており、価格は8,000ドルから15,000ドルの範囲です。Dojoで訓練されたAIは、OTAアップデートを通じて顧客に展開される予定です。FSD車両から収集される膨大なデータ—数百万マイルのビデオ映像—は、システムの訓練と改良に使用されます。

しかし、一部の業界専門家はこのデータ重視のアプローチの有効性に疑問を呈しています。パーデュー大学のアナンド・ラグナサン教授はTechCrunchに対し、「まず、経済的制約があり、すぐにそれが高額になりすぎるでしょう。一部の人々は、モデルを訓練する意味のあるデータが不足する可能性があると主張しています。データが増えることが必ずしも情報が増えることを意味しないので、データがより良いモデルを作成するのに役立つ情報を持っているか、そして訓練プロセスがその情報をより良いモデルに実際に抽出できるかに依存します」と述べました。

こうした懸念にもかかわらず、データ量の増加傾向は少なくとも当面は続いているようです。そして、データが増えるにつれて、それを保存し処理するための計算能力の必要性が高まり、ここでスーパーコンピュータのDojoが登場します。

スーパーコンピュータとは何か？

Dojoは、テスラが特にFSD向けにAIモデルを訓練するために設計したスーパーコンピュータシステムです。「Dojo」という名前は、武道のトレーニングスペースにちなんでいます。

スーパーコンピュータは、CPUとGPUを持つ何千もの小さなコンピュータ（ノード）で構成されています。CPUはノードを管理し、GPUは操作の分割や同時作業のような複雑なタスクを処理します。GPUは、FSDトレーニングシミュレーションのような機械学習タスクに不可欠です。また、大規模言語モデルの動力源でもあり、生成AIの台頭によりNvidiaが世界で最も価値のある企業になった理由を説明しています。

テスラは現在、AIトレーニングにNvidiaのGPUを使用していますが、Nvidiaチップの高コストと限られた入手可能性により、ハードウェアの多様化を目指しています。

なぜテスラにスーパーコンピュータが必要なのか？

テスラのビジョンのみのアプローチにはスーパーコンピュータが必要です。FSDを動かすニューラルネットワークは、車両周辺のオブジェクトを認識し分類し、運転決定を行うために大量の運転データで訓練されます。FSD使用時には、これらのネットワークは人間の知覚に匹敵する速度で視覚データを継続的に収集し処理する必要があります。

本質的に、テスラは人間の視覚野と脳機能をデジタルで再現しようとしています。これを達成するためには、テスラはグローバルな車両群から膨大なビデオデータを保存・処理し、AIモデルを訓練するために無数のシミュレーションを実行する必要があります。

Dojoの写真 pic.twitter.com/Lu8YiZXo8c

— イーロン・マスク (@elonmusk) 2024年7月23日

テスラは現在、DojoトレーニングコンピュータにNvidiaを依存していますが、効率を高めコストを削減するために独自のハードウェアを開発中です。目標は、標準的なGPUハードウェアから離れて、帯域幅を増やし遅延を減らすハードウェアを開発することです。

これらのチップについてもっと教えて

テスラは、Appleと同様に、ハードウェアとソフトウェアがシームレスに連携する設計を信じています。この哲学により、テスラはDojo向けに独自のチップを開発しました。

2021年のAIデーで、テスラは手のひらサイズのシリコン正方形であるD1チップを発表しました。D1の生産は少なくとも2024年5月までに始まり、台湾セミコンダクターマニュファクチャリングカンパニー（TSMC）が7ナノメートルの半導体ノードを使用して製造を担当しました。D1は500億個のトランジスタと645平方ミリメートルの大きなダイサイズを誇り、複雑なタスクに対して高い電力と効率を約束します。

「我々は計算とデータ転送を同時に行うことができ、機械学習ワークロード向けに完全に最適化されたカスタムISA（命令セットアーキテクチャ）を持っています」と、2021年のテスラAIデーで元オートパイロットハードウェアシニアディレクターのガネシュ・ヴェンカタラマナンは述べました。「これは純粋な機械学習です。」

D1は強力ですが、NvidiaのA100チップには及びません。A100も7ナノメートルプロセスを使用し、540億個のトランジスタと826平方ミリメートルの大きなダイサイズを持っています。

より高い帯域幅と計算能力を達成するために、テスラのAIチームは25個のD1チップを1つのタイルに統合し、統一されたコンピュータシステムとして機能させました。各タイルは9ペタフロップスの計算能力と毎秒36テラバイトの帯域幅を提供し、電力、冷却、データ転送に必要なすべてのハードウェアを含みます。6つのタイルで1つのラック、2つのラックで1つのキャビネット、10のキャビネットでExaPODを構成します。2022年のAIデーで、テスラは複数のExaPODを展開してDojoをスケールアップする計画を明らかにしました。

テスラはまた、情報フローのボトルネックに対処するために次世代のD2チップを開発中です。D2はDojoタイル全体を単一のシリコンウェハに統合します。

テスラはD1チップの注文数や受け取り予定数、DojoスーパーコンピュータがD1チップで動作する時期についてのタイムラインを公開していません。

テキサスで巨大なGPUクーラーを構築することについての6月のXの投稿に対し、マスクは今後18か月で「テスラAIハードウェアが半分、Nvidia/その他が半分」を目指すと述べました。「その他」には、1月のマスクのコメントによるとAMDチップが含まれる可能性があります。

Dojoはテスラにとって何を意味するのか？

チップ生産を制御することで、テスラはTSMCとの生産スケールアップに伴い、AIトレーニングプログラムに大幅な計算能力を低コストで追加できる可能性があります。

この動きは、Nvidiaのますます高価で入手困難なチップへの依存を減らすこともできます。第2四半期の決算発表で、マスクはGPUの安定供給確保について懸念を表明し、Dojoにもっと焦点を当てる必要性を強調しました。

こうした努力にもかかわらず、テスラはAIトレーニングのためにNvidiaチップを購入し続けています。6月、マスクはXに投稿しました：

私がテスラが今年行う約100億ドルのAI関連支出のうち、約半分は内部で、テスラが設計したAI推論コンピュータと私たちのすべての車に搭載されているセンサー、そしてDojoが主です。AIトレーニングスーパークラスターの構築では、Nvidiaハードウェアがコストの約3分の2を占めます。現在の私の最良の推測では、テスラによるNvidiaの購入は今年30億ドルから40億ドルです。

— イーロン・マスク (@elonmusk) 2024年6月

「推論コンピュート」は、テスラ車両が行うリアルタイムのAI計算を指し、Dojoが処理するトレーニングコンピュートとは異なります。

Dojoはテスラにとってリスクが高いが報われる可能性のあるベンチャーです。マスクは、テスラがDojoで成功しないかもしれないと認めていますが、FSDとテスラのヒューマノイドロボットOptimusのためのコンピュータビジョンラベリングとトレーニングに最初に特化した、テスラのAI部門の基盤としてそれを構想しています。

将来のDojoバージョンは、GPU向けに現在設計されているソフトウェアの書き直しが必要ですが、汎用AIトレーニングに適応できる可能性があります。あるいは、テスラはAWSやAzureと同様に計算能力を貸し出すことができます。

第2四半期の決算で、マスクは「DojoでNvidiaと競争力を持つ道が見える」と述べました。2023年9月のモルガン・スタンレーのレポートでは、Dojoがロボタクシーやソフトウェアサービスで新しい収益源を開くことで、テスラの市場価値に5000億ドルを追加する可能性があると示唆されました。

本質的に、Dojoのチップはテスラにとって保険であり、大きなリターンの可能性があります。

Dojoの進捗はどの程度か？

ロイターは、テスラが2023年7月にDojoの生産を開始したと報じましたが、2023年6月のマスクの投稿では、Dojoが「数か月間オンラインで有用なタスクを実行している」と示唆されました。

テスラは、2024年2月までにDojoが最も強力なスーパーコンピュータのトップ5にランクインすると予想していましたが、これが公開確認されていないため、達成されたかどうかは疑問です。同社はまた、2024年10月までにDojoの総計算能力が100エクサフロップスに達すると予測しました。（1エクサフロップスは1京回の計算操作/秒に等しい。100エクサフロップスを達成するには、1つのD1が362テラフロップスを達成すると仮定すると、テスラは276,000以上のD1、または約320,500のNvidia A100 GPUが必要となります。）

2024年1月、テスラはニューヨーク州バッファローのギガファクトリーにDojoスーパーコンピュータを構築するために5億ドルを投資すると約束しました。

2024年5月、マスクはテスラのオースティングIGAファクトリーの後部が「超高密度、水冷スーパーコンピュータクラスタ」に専用されると述べましたが、これはDojoではなくCortexのためのものでした。

第2四半期の決算発表後、マスクはXに、テスラのAIチームがNvidia GPUと一緒にテスラ車両に搭載されているハードウェアであるテスラHW4 AIコンピュータ（AI4に改名）をトレーニングループで使用していると投稿しました。彼は、約90,000のNvidia H100と40,000のAI4コンピュータが使用されていると述べました。

「そして、Dojo 1は年末までに約8,000のH100相当のトレーニングがオンラインになります」と彼は続けました。「大規模ではありませんが、些細なことでもありません。」

テスラは、これらのチップが現在稼働中でDojoを動かしているかどうかを確認していません。2024年第4四半期の決算発表では、Dojoには言及されませんでしたが、テスラは第4四半期にCortexの展開を完了し、監督付きFSDのV13を可能にしたと報告しました。

この記事は2024年8月3日に初公開され、新しい情報が入手次第更新します。