埃隆·馬斯克（Elon Musk）雄心勃勃的特斯拉Dojo AI超級計算機公開

多年來，埃隆·馬斯克一直公開談論Dojo，這是特斯拉AI雄心核心的AI超級電腦。2024年7月，馬斯克強調其重要性，宣佈特斯拉的AI團隊將在10月備受期待的機器人出租車揭幕前加緊努力於Dojo。

那麼，Dojo究竟是什麼，為什麼對特斯拉的長期策略如此關鍵？

本質上，Dojo是特斯拉專為訓練其「完全自動駕駛」（FSD）神經網絡而設計的定制超級電腦。Dojo的增強與特斯拉實現完全自動駕駛能力和推出機器人出租車服務的目標密切相關。目前，安裝在數十萬輛特斯拉車輛中的FSD可以處理某些自動駕駛任務，但仍需人類駕駛者的注意。

在10月Cybercab揭幕後，特斯拉計劃於今年6月在奧斯汀推出自主叫車服務，使用其自家車隊。在2024年1月的第四季度及全年財報電話會議上，特斯拉宣佈計劃在2025年為美國客戶推出無人監督的FSD。

儘管馬斯克早先聲稱Dojo是特斯拉實現完全自動駕駛雄心的關鍵，但隨著目標接近，他對此話題相對沉默。自2024年8月以來，話題已轉向位於奧斯汀總部的特斯拉新AI訓練超級集群Cortex。馬斯克形容Cortex擁有「用於FSD和Optimus視頻訓練的巨大存儲」。

雖然特斯拉的第四季度股東報告提供了Cortex的更新，但對Dojo卻隻字未提。特斯拉顯然在AI上投入巨資，包括Dojo和現在的Cortex，以實現車輛和人形機器人的自主性。隨著電動車市場競爭日益激烈，特斯拉的未來成功在很大程度上取決於掌握這些技術。

特斯拉的Dojo背景

埃隆·馬斯克對特斯拉的願景不僅限於製造汽車、太陽能板和儲能系統。他希望特斯拉成為AI強者，通過模擬人類感知開創自動駕駛技術。

與許多其他依賴雷射雷達、雷達和攝影機以及高清晰度地圖的自主車輛技術公司不同，特斯拉旨在僅使用攝影機實現完全自主。這些攝影機捕捉視覺數據，然後由高級神經網絡處理，以做出即時駕駛決策。

在2021年特斯拉首次AI日，前AI負責人Andrej Karpathy將公司的目標比喻為從頭開始構建「合成動物」。馬斯克自2019年起就一直在暗示Dojo，但它在AI日正式亮相。

雖然像Alphabet的Waymo已成功商業化第四級自主車輛，但特斯拉的系統仍需人類駕駛員在駕駛座上。超過180萬人已訂閱特斯拉的FSD，費用從8000美元到15000美元不等。承諾是通過空中更新將Dojo訓練的AI推送到客戶。從FSD車輛收集的大量數據——數百萬英里的視頻片段——用於訓練和完善系統。

然而，一些行業專家質疑這種數據密集方法的有效性。普渡大學教授Anand Raghunathan對TechCrunch表示：「首先，有經濟限制，很快這樣做會變得太昂貴。有些人聲稱我們可能會耗盡有意義的數據來訓練模型。更多數據不一定意味著更多信息，這取決於數據是否包含有助於創建更好模型的信息，以及訓練過程是否能將這些信息提煉成更好的模型。」

儘管有這些顧慮，更多數據的趨勢目前似乎仍在持續。而更多數據需要更多計算能力來存儲和處理，這就是Dojo超級電腦的用武之地。

什麼是超級電腦？

Dojo是特斯拉的超級電腦系統，專為訓練AI模型設計，特別是針對FSD。名稱「Dojo」是對武術訓練場所的致敬。

超級電腦由數千台稱為節點的小型電腦組成，每台節點配有CPU和GPU。CPU管理節點，而GPU處理複雜任務，如分割操作和同時工作。GPU對機器學習任務（如FSD訓練模擬）至關重要。它們還為大型語言模型提供動力，這解釋了為什麼Nvidia因生成式AI的興起而成為全球最具價值的公司。

特斯拉目前使用Nvidia GPU來訓練其AI，但由於Nvidia芯片的高成本和有限供應，它正在尋求多樣化其硬件來源。

為什麼特斯拉需要超級電腦？

特斯拉的純視覺方法需要超級電腦。為FSD提供動力的神經網絡在大量駕駛數據上進行訓練，以識別和分類車輛周圍的物體並做出駕駛決策。當使用FSD時，這些網絡必須以媲美人類感知的速度持續收集和處理視覺數據。

本質上，特斯拉旨在創建人類視覺皮層和腦功能的數字複製品。為此，特斯拉需要存儲和處理來自其全球車隊的大量視頻數據，並運行無數模擬來訓練其AI模型。

Dojo照片 pic.twitter.com/Lu8YiZXo8c

— 埃隆·馬斯克 (@elonmusk) 2024年7月23日

特斯拉目前依賴Nvidia進行Dojo訓練電腦，但正在開發自己的定制硬件以提高效率並降低成本。目標是開發提升頻寬並降低延遲的硬件，脫離標準GPU硬件。

告訴我更多關於這些芯片的信息

特斯拉與蘋果類似，相信設計硬件和軟件無縫協作的理念。這一理念促使特斯拉為Dojo開發自己的芯片。

在2021年AI日，特斯拉推出了D1芯片，一個手掌大小的硅方塊。D1的生產至少在2024年5月開始，由台灣積體電路製造公司（TSMC）使用7納米半導體節點製造。D1擁有500億個晶體管，芯片面積達645平方毫米，為複雜任務提供高功率和效率。

前自動駕駛硬件高級總監Ganesh Venkataramanan在2021年特斯拉AI日表示：「我們可以同時進行計算和數據傳輸，我們的定制指令集架構（ISA）完全針對機器學習工作負載進行優化。這是純粹的機器學習。」

雖然D1功能強大，但與Nvidia的A100芯片相比稍遜一籌，後者同樣使用7納米工藝，包含540億個晶體管，芯片面積達826平方毫米。

為了實現更高頻寬和計算能力，特斯拉的AI團隊將25個D1芯片組合成單一模塊，作為統一的電腦系統運作。每個模塊提供9 petaflops的計算能力和36 terabytes每秒的頻寬，並包含電源、冷卻和數據傳輸所需的所有硬件。六個模塊組成一個機架，兩個機架形成一個機櫃，十個機櫃構成一個ExaPOD。在2022年AI日，特斯拉透露計劃通過部署多個ExaPOD來擴展Dojo，形成超級電腦。

特斯拉還在開發下一代D2芯片，以解決信息流瓶頸。D2將整個Dojo模塊整合到單一硅晶圓上。

特斯拉尚未透露訂購或預計接收的D1芯片數量，也未提供Dojo超級電腦何時運行D1芯片的時間表。

在回應2024年6月關於在德克薩斯州建造巨型GPU冷卻器的X帖子時，馬斯克表示特斯拉計劃在未來18個月內實現「一半特斯拉AI硬件，一半Nvidia/其他」。根據馬斯克1月的評論，「其他」可能包括AMD芯片。

Dojo對特斯拉的意義

通過控制芯片生產，特斯拉可能以較低成本為其AI訓練項目增加顯著的計算能力，特別是隨著與TSMC的生產規模擴大。

此舉還可減少特斯拉對Nvidia日益昂貴且稀缺芯片的依賴。在特斯拉第二季度財報電話會議上，馬斯克表達了對穩定GPU供應的擔憂，強調需要更加專注於Dojo。

儘管如此，特斯拉仍在為其AI訓練購買Nvidia芯片。6月，馬斯克在X上發帖：

我在特斯拉今年約100億美元的AI相關支出中，約一半是內部支出，主要是特斯拉設計的AI推理電腦和我們所有汽車中的傳感器，以及Dojo。在構建AI訓練超級集群方面，Nvidia硬件約占成本的三分之二。我目前對特斯拉Nvidia購買的預估是今年30億至40億美元。

— 埃隆·馬斯克 (@elonmusk) 2024年6月

「推理計算」指的是特斯拉車輛執行的即時AI計算，與Dojo處理的訓練計算不同。

Dojo對特斯拉來說是一個風險高但潛在回報大的冒險。馬斯克承認特斯拉可能不會在Dojo上成功，但他將其視為特斯拉AI部門的基石，最初為FSD和Optimus的計算機視覺標記和訓練量身定制。

未來版本的Dojo可能適應通用AI訓練，儘管這需要重寫目前為GPU設計的軟件。或者，特斯拉可以像AWS和Azure一樣出租其計算能力。

在第二季度財報中，馬斯克提到看到「Dojo與Nvidia競爭的路徑」。2023年9月摩根士丹利的報告顯示，Dojo可能通過機器人出租車和軟件服務開闢新收入來源，為特斯拉增加5000億美元的市值。

本質上，Dojo的芯片為特斯拉提供了保險單，潛在帶來顯著回報。

Dojo進展如何？

路透社報導，特斯拉於2023年7月開始生產Dojo，但馬斯克在2023年6月的帖子中表示，Dojo已「上線並運行有用的任務幾個月」。

特斯拉預計Dojo將在2024年2月躋身全球五大最強大超級電腦之列，儘管這尚未公開確認，令人懷疑其實現。該公司還預測Dojo的總計算能力將在2024年10月達到100 exaflops。（1 exaflops等於每秒1 quintillion次計算操作。假設一個D1可實現362 teraflops，特斯拉將需要超過276,000個D1，或約320,500個Nvidia A100 GPU。）

2024年1月，特斯拉承諾投資5億美元在其紐約布法羅超級工廠建造Dojo超級電腦。

2024年5月，馬斯克提到特斯拉奧斯汀超級工廠的後部將專用於「超密集水冷超級電腦集群」，後來證實是為Cortex而非Dojo。

在特斯拉第二季度財報電話會議後，馬斯克在X上發帖表示，特斯拉的AI團隊正在使用特斯拉HW4 AI電腦（現更名為AI4），這是特斯拉車輛中的硬件，與Nvidia GPU一起用於訓練迴路。他指出，大約有90,000個Nvidia H100和40,000個AI4電腦。

他繼續說：「Dojo 1到年底將有大約8k H100等效的訓練上線。雖然不算巨大，但也不小。」

特斯拉尚未確認這些芯片是否現已運行Dojo。在公司2024年第四季度財報電話會議上，未提及Dojo，但特斯拉報告在第四季度完成Cortex部署，啟用了監督FSD的V13。

此報導最初於2024年8月3日發布，我們將隨著新信息的發展更新內容。