テスラ・ドジョ・アイ・スーパーコンピューターのためのイーロン・マスクの野心的な計画が発表された

何年もの間、イーロン・マスクは、テスラのAI野心の中心にあるAIスーパーコンピューターであるDojoについて声を上げてきました。 2024年7月、マスクはその重要性を強調し、テスラのAIチームが10月に予定されているRobotaxi公開に先立ってDojoの努力を強化することを発表しました。

では、道場とは何か、そしてなぜテスラの長期戦略にとって非常に重要なのでしょうか？

本質的に、Dojoは、「完全な自動運転」（FSD）ニューラルネットワークをトレーニングするように設計されたテスラのカスタム構築スーパーコンピューターです。 Dojoの強化は、完全な自動運転能力を達成し、Robotaxiサービスを開始するというテスラの目標と密接に結びついています。現在、数十万のテスラ車両に設置されたFSDは、特定の自動化された運転タスクを処理できますが、それでも人間のドライバーの注意が必要です。

10月のCyber​​cabの公開に続いて、テスラは今年6月にオースティンで自動運転室で自動車に乗って車両を使用して自動運転サービスを開始する予定です。 2024年の第4四半期および通年の収益コールの間に、テスラは2025年に米国の顧客に監視されていないFSDを導入する計画を発表しました。

ドジョがテスラの完全な自動運転の野望の鍵であるというマスクの以前の主張にもかかわらず、彼は目標が近づくにつれてこのテーマについて比較的静かでした。 2024年8月以来、会話はオースティン本社でテスラの新しいAIトレーニングスーパークラスターである皮質に移りました。ムスクは、皮質が「FSDとオプティマスのビデオトレーニングのための大規模なストレージ」を持っていると説明しています。

Teslaの第4四半期の株主デッキはCortexの最新情報を提供しましたが、Dojoは沈黙していました。テスラは、車両とヒューマノイドロボットの両方で自律性を達成するために、Dojoや現在皮質を含むAIに明らかに多額の投資を行っています。 EV市場がますます競争が激しくなっているため、テスラの将来の成功は、これらのテクノロジーの習得に大きく依存しています。

テスラの道場のバックストーリー

テスラに対するElon Muskのビジョンは、製造自動車、ソーラーパネル、エネルギー貯蔵システムだけを超えています。彼は、テスラが人間の認識をエミュレートすることにより、自動運転技術を先駆けてAIの大国になることを望んでいます。

Lidar、レーダー、カメラなどのセンサーの組み合わせに依存している他の多くの自動運転車ハイテク企業とは異なり、高解像度マップとともに、テス​​ラはカメラのみを使用して完全な自律性を達成することを目指しています。これらのカメラは視覚データをキャプチャし、高度なニューラルネットワークによって処理され、リアルタイムの運転決定を行います。

2021年のテスラの最初のAI日、元AIの元首であるAndrej Karpathyは、「ゼロから合成動物を構築する」という同社の目標を例えました。マスクは2019年からDojoをほのめかしていましたが、AIの日に公式に発表されました。

AlphabetのWaymoのような企業は、レベル4の自動運転車を商業化して成功裏に成功していますが、Teslaのシステムにはまだ車輪の後ろの人間が必要です。 180万人以上がテスラのFSDを購読しており、これは8,000ドルから15,000ドルの費用がかかります。約束は、Dojo-Trained AIがオーバーザエアの更新を介して顧客に展開されることです。 FSD車両（数百万マイルのビデオ映像）から収集された広範なデータは、システムのトレーニングと改良に使用されます。

ただし、一部の業界の専門家は、このデータが多いアプローチの有効性に疑問を呈しています。パデュー大学の教授であるアナンド・ラグナサンは、「まず第一に、経済的制約があり、すぐにそれを行うには高価になるでしょう。モデルをトレーニングするには意味のあるデータが実際に尽きる可能性があると主張する人もいます。

これらの懸念にもかかわらず、少なくとも今のところ、より多くのデータへの傾向が固執しているようです。そして、より多くのデータがあり、それをすべて保存して処理するためのより多くの計算能力が必要です。そこでは、スーパーコンピューターであるDojoが登場します。

スーパーコンピューターとは何ですか？

Dojoは、特にFSD向けにAIモデルを訓練するために特別に設計されたTeslaのスーパーコンピューターシステムです。 「Dojo」という名前は、武道の訓練スペースにうなずきます。

スーパーコンピューターは、ノードと呼ばれる数千の小さなコンピューターで構成され、それぞれにCPUとGPUがあります。 CPUはノードを管理し、GPUは操作の分割や同時に作業するなどの複雑なタスクを処理します。 GPUは、FSDトレーニングシミュレーションで使用されるものなどの機械学習タスクにとって重要です。彼らはまた、大規模な言語モデルを強化します。これは、生成AIの台頭により、Nvidiaが地球上で最も価値のある企業になった理由を説明しています。

Teslaは現在、Nvidia GPUを使用してAIを訓練していますが、NVIDIAチップのコストと限られた入手可能性により、ハードウェアソースの多様化を目指しています。

なぜテスラはスーパーコンピューターを必要とするのですか？

テスラのビジョンのみのアプローチには、スーパーコンピューターが必要です。電力FSDが膨大な量の運転データを訓練し、車両の周りのオブジェクトを認識して分類し、運転の決定を下すというニューラルネットワークが訓練されています。 FSDが使用されている場合、これらのネットワークは、人間の認識に匹敵する速度で視覚データを継続的に収集および処理する必要があります。

本質的に、テスラは、人間の視覚皮質と脳機能のデジタルレプリカを作成することを目指しています。これを達成するには、テスラは、世界の車両艦隊から膨大な量のビデオデータを保存および処理し、AIモデルをトレーニングするために無数のシミュレーションを実行する必要があります。

dojo pics pic.twitter.com/lu8yizxo8c

- Elon Musk（@elonmusk） 2024年7月23日

Teslaは、現在のDojoトレーニングコンピューターにNvidiaに依存していますが、効率を高め、コストを削減するために独自のカスタムハードウェアに取り組んでいます。目標は、標準のGPUハードウェアから離れて、帯域幅を高めてレイテンシーを減らすハードウェアを開発することです。

これらのチップについて詳しく教えてください

Teslaは、Appleと同じように、シームレスに動作するハードウェアとソフトウェアの設計を信じています。この哲学により、テスラはDojo向けの独自のチップを開発しました。

2021年のAI日に、テスラはヤシサイズのシリコンスクエアであるD1チップを導入しました。 D1の生産は、少なくとも2024年5月から始まり、7つのナノメートル半導体ノードを使用して台湾半導体製造会社（TSMC）が処理しました。 D1は、500億トランジスタと645ミリメートルの2乗の大きなダイサイズを誇っており、複雑なタスクの高出力と効率を約束しています。

「私たちはコンピューティングとデータ転送を同時に行うことができ、命令セットアーキテクチャであるカスタムISAは機械学習ワークロードに完全に最適化されています」と、テスラの2021 AI日のオートパイロットハードウェアの元上級ディレクターであるガネーシュベンカタラマナンは述べています。 「これは純粋な機械学習です。」

D1は強力ですが、NvidiaのA100チップとは完全には一致しません。これは、7ナノメートルプロセスを使用し、826平方ミリメートルのダイサイズが大きい540億トランジスタを含んでいます。

より高い帯域幅と計算力を実現するために、テスラのAIチームは25 D1チップを1つのタイルに組み合わせて、統一コンピューターシステムとして機能しました。各タイルは、帯域幅の1秒あたり9枚のコンピューティングパワーと36テラバイトのペタフロップを提供し、電力、冷却、およびデータ転送に必要なすべてのハードウェアが含まれています。 6つのタイルが1つのラックを構成し、2つのラックがキャビネットを形成し、10本のキャビネットがエクサポッドを作成します。 2022年AI日に、テスラは複数のエクセポドを展開してスーパーコンピューターを形成することにより、道場をスケーリングする計画を明らかにしました。

Teslaは、情報フローのボトルネックに対処するための次世代D2チップも開発しています。 D2は、Dojoタイル全体を1つのシリコンウェーハに統合します。

Teslaは、注文したD1チップの数を開示していません。また、D1スーパーコンピューターがD1チップで実行される時期のタイムラインも提供していません。

テキサスに巨大なGPUクーラーの建設に関するXの6月の投稿に応えて、Muskは、テスラが「ハーフテスラAIハードウェア、半分のNvidia/その他」を今後18か月間に目指していると述べました。 Muskの1月のコメントによると、「その他」にはAMDチップが含まれる可能性があります。

ドジョはテスラにとって何を意味しますか？

チップの生産を制御することにより、テスラは、特にTSMCの生産尺度として、より低コストでAIトレーニングプログラムに大きな計算能力を追加する可能性があります。

この動きは、テスラのNvidiaのますます高価で乏しいチップへの依存を減らすこともできます。テスラの第2四半期の収益コール中に、マスクは安定したGPU供給を確保することに懸念を表明し、Dojoにもっと集中する必要性を強調しました。

これらの努力にもかかわらず、テスラはAIトレーニングのためにNvidiaチップをまだ購入しています。 6月、ムスクはXに投稿しました：

私が今年テスラが作ると言ったAI関連の支出の約10億ドルのうち、約半分は内部であり、主にテスラが設計したAI推論コンピューターとすべての車に存在するセンサーとDojoです。 AIトレーニングスーパークラスターを構築するために、NVIDIAハードウェアはコストの約2/3です。 TeslaによるNvidiaの購入に対する私の現在の最良の推測は、今年3億ドルから4億ドルです。

- Elon Musk（@elonmusk） 2024年6月

「推論計算」とは、Tesla車両が実行するリアルタイムAI計算を指し、Dojoが処理するトレーニング計算とは異なります。

Dojoは、テスラにとって危険でありながら潜在的に報いるベンチャーを表しています。マスクは、テスラが道場で成功しないかもしれないことを認めていますが、彼はそれをテスラのAI部門の礎石として想定していました。これは、最初はテスラのヒューマノイドロボットであるFSDとオプティマスのトレーニングに合わせて調整されていました。

Dojoの将来のバージョンは、一般的なAIトレーニングに適応することができますが、これには現在GPU用に設計されたソフトウェアの書き換えが必要です。あるいは、TeslaはAWSやAzureと同様に、コンピューティング能力をレンタルすることができました。

第2四半期の収益の間に、マスクは「ドジョとのNvidiaと競争する道」を見ていると述べました。 Morgan Stanleyからの2023年9月の報告書は、DojoがRobotaxisおよびソフトウェアサービスで新しい収益源を開設することにより、Teslaの市場価値に5,000億ドルを追加できることを示唆しました。

本質的に、Dojoのチップはテスラの保険契約として機能し、大きな収益の可能性があります。

道場はどれくらいですか？

ロイターは、テスラが2023年7月にDojoの生産を開始したと報告したが、2023年6月のMuskからの投稿は、Dojoが「数ヶ月間オンラインで有用なタスクを実行していた」ことを示した。

テスラは、Dojoが2024年2月までにトップ5の最も強力なスーパーコンピューターにランク付けされると予想していましたが、これは公に確認されておらず、その成果に疑問を投げかけました。同社はまた、Dojoの総計算が2024年10月までに100個のエクスフロップに達すると予測しました（1つのExaflopsは1秒あたり1キンティリオンのコンピューター操作に等しくなります。1つのD1が362テラフロップを達成できると仮定すると、テスラが276,000 D1を超えると仮定します。

2024年1月、テスラは5億ドルを誓約し、ニューヨークのバッファローにあるGigaFactoryにDojo Supercomputerを建設しました。

2024年5月、マスクは、テスラのオースティンギガファクトリーの後方部分は、「超密集した、水冷スーパーコンピュータークラスター」に捧げられると述べました。

Teslaの第2四半期の収益コールに続いて、MuskはTeslaのAIチームがTesla HW4 AIコンピューター（AI4と改名）を使用していることをXに投稿しました。彼は、故障は約90,000のNVIDIA H100と40,000 AI4コンピューターであると指摘しました。

「そして、Dojo 1は、年末までにオンラインでトレーニングをトレーニングするのに約8K H100に相当するものになるでしょう」と彼は続けた。 「大規模ではありませんが、些細なことでもありません。」

テスラは、これらのチップが現在稼働しているかどうかを確認していません。同社の第4四半期の2024年の収益コールの間、Dojoは言及されていませんでしたが、テスラは、監督されたFSDのV13を有効にした第4四半期の皮質の展開を完了したと報告しました。

このストーリーはもともと2024年8月3日に公開されていましたが、新しい情報が開発されたときに更新します。