埃隆·馬斯克（Elon Musk）雄心勃勃的特斯拉Dojo AI超級計算機公開

多年來，埃隆·馬斯克（Elon Musk）一直對特斯拉AI野心核心的AI超級計算機Dojo發聲。 2024年7月，馬斯克強調了它的重要性，宣布特斯拉的AI團隊將在十月備受期待的Robotaxi揭示之前加強對Dojo的努力。

那麼，Dojo到底是什麼，為什麼它對特斯拉的長期戰略如此至關重要？

本質上，Dojo是特斯拉的定制超級計算機，旨在訓練其“完整的自動駕駛”（FSD）神經網絡。 Dojo的增強與特斯拉的目標是實現完整的自動駕駛能力並推出機器人服務的目標。目前，安裝在數十萬特斯拉車輛中的FSD可以處理某些自動駕駛任務，但仍然需要人類駕駛員的注意。

在10月的網絡車期揭曉之後，特斯拉將於今年6月使用自己的車隊在奧斯丁推出自動乘車服務。在一月份的2024年第四季度和全年收益電話會議上，特斯拉宣布了計劃在2025年為美國客戶提供無監督的FSD。

儘管馬斯克早些時候聲稱道場是特斯拉全駕駛野心的關鍵，但隨著進球的臨近，他對這個主題的態度相對安靜。自2024年8月以來，對話已轉移到Cortex，這是特斯拉在其奧斯汀總部的新AI訓練超級集團。馬斯克（Musk）將Cortex描述為“用於FSD和Optimus的視頻培訓的大量存儲”。

儘管特斯拉的Q4股東甲板提供了有關Cortex的最新動態，但Dojo對此表示了沉默。特斯拉顯然在包括Dojo和現在的Cortex在內的人工智能投資，以實現車輛和人形機器人的自治。隨著電動汽車市場的競爭越來越高，特斯拉的未來成功取決於掌握這些技術。

特斯拉的Dojo背景故事

埃隆·馬斯克（Elon Musk）對特斯拉（Tesla）的願景不僅僅是製造汽車，太陽能電池板和儲能係統。他希望特斯拉通過模仿人類的看法來成為AI強大的自動駕駛技術。

與許多其他自動駕駛汽車科技公司不同，這些公司依靠LiDAR，RADAR和相機等傳感器以及高清地圖，Tesla的目標是僅使用攝像頭實現完全的自主權。這些相機捕獲了視覺數據，然後由高級神經網絡處理以做出實時駕駛決策。

在特斯拉（Tesla）2021年的第一個AI日，前AI的負責人安德烈·卡爾帕蒂（Andrej Karpathy）將公司的目標比作了“從頭開始建造合成動物”的目標。自2019年以來，馬斯克一直在暗示道喬，但在AI日正式揭幕。

雖然像Alphabet的Waymo這樣的公司成功地將4級自動駕駛汽車商業化，但特斯拉的系統仍然需要人類。超過180萬人訂閱了特斯拉的FSD，價格從8,000美元到15,000美元不等。承諾是，訓練Dojo訓練的AI將通過無線更新向客戶推出。從FSD車輛收集的大量數據（數百萬英里的錄像帶）用於訓練和完善系統。

但是，一些行業專家質疑這種數據繁重的方法的功效。普渡大學教授Anand Raghunathan告訴TechCrunch：“首先，經濟限制，很快就會變得太昂貴了。有些人聲稱我們實際上可能會用盡有意義的數據來培訓模型。更多的數據不一定一定意味著更多的信息，因此該數據依賴於更有用的信息來創建一個更好的模型，並且能夠真正跨越一個信息，並且實際上是一個信息，並且能夠真正地互動，並且能夠真正地互動。

儘管存在這些擔憂，但至少目前，更多的數據趨勢似乎仍在延伸。隨著更多的數據，需要更多的計算能力來存儲和處理所有數據，這就是超級計算機Dojo開始發揮作用的地方。

什麼是超級計算機？

Dojo是特斯拉的超級計算機系統，專門用於培訓AI模型，尤其是針對FSD。 “ Dojo”這個名字是對武術訓練空間的致敬。

超級計算機由數千台稱為節點的較小計算機組成，每個計算機都帶有CPU和GPU。 CPU管理節點，而GPU則處理複雜的任務，例如分裂操作並同時處理它們。 GPU對於機器學習任務至關重要，例如在FSD培訓模擬中使用的任務。他們還為大型語言模型提供動力，這解釋了為什麼由於生成AI的興起，NVIDIA為何已成為地球上最有價值的公司。

特斯拉目前使用NVIDIA GPU訓練其AI，但由於NVIDIA芯片的高成本和有限的可用性，它希望使其硬件來源多樣化。

特斯拉為什麼需要超級計算機？

特斯拉的僅視覺方法需要超級計算機。電力FSD的神經網絡接受了大量駕駛數據的培訓，以識別和對車輛周圍的對象進行分類並做出駕駛決策。當使用FSD時，這些網絡必須以與人類感知相媲美的速度連續收集和處理視覺數據。

本質上，特斯拉旨在創建人類視覺皮層和大腦功能的數字複製品。為了實現這一目標，特斯拉需要從其全球車輛車隊中存儲和處理大量視頻數據，並運行無數的模擬來訓練其AI模型。

dojo圖片pic.twitter.com/lu8yizxo8c

- 埃隆·馬斯克（@elonmusk） 2024年7月23日

特斯拉依靠NVIDIA進行目前的Dojo培訓計算機，但正在使用自己的自定義硬件來提高效率並降低成本。目的是開發可增強帶寬並減少潛伏期的硬件，從而擺脫標準GPU硬件。

告訴我更多有關這些籌碼的信息

特斯拉（Tesla）和蘋果（Apple）一樣，相信設計硬件和軟件，這些硬件和軟件無縫合作。這種哲學導致特斯拉為Dojo開發自己的籌碼。

在2021年的AI日，特斯拉推出了D1芯片，這是一個棕櫚大小的矽廣場。 D1的生產始於2024年5月，由台灣半導體製造公司（TSMC）處理的製造業使用7納米半導體節點。 D1擁有500億晶體管，大尺寸為645毫米平方，有望實現複雜任務的高功率和效率。

特斯拉（Tesla）的2021年AI天的自動駕駛儀高級總監Ganesh Venkataramanan說：“我們可以同時進行計算和數據傳輸，而我們的自定義ISA（這是指令套件的體系結構）已完全優化了機器學習工作負載。” “這是一個純機器學習。”

雖然D1功能強大，但它與Nvidia的A100芯片不太匹配，該芯片還使用了7納米過程，並且包含540億個晶體管，較大的模具尺寸為826平方毫米。

為了獲得更高的帶寬和計算功率，特斯拉的AI團隊將25芯片組合成一個瓷磚，充當統一的計算機系統。每個瓷磚每秒提供9個PETAFLOPS的計算功率和36 trabytes，其中包括所有必要的功率，冷卻和數據傳輸的硬件。六個瓷磚構成一個架子，兩個架子形成一個櫥櫃，十個櫥櫃會產生一個exapod。在2022年AI日，特斯拉揭示了通過部署多個exapods並形成超級計算機來擴展Dojo的計劃。

特斯拉還正在開發下一代D2芯片，以解決信息流瓶頸。 D2將整個Dojo瓷磚集成到單個矽晶片上。

特斯拉尚未透露它已訂購或期望收到多少D1芯片，也沒有為Dojo SuperCuptuters在D1芯片上運行時提供時間表。

在回應X上關於在德克薩斯州建造巨大GPU冷卻器的6月帖子時，馬斯克說，特斯拉的目標是在接下來的18個月中旨在“半特斯拉AI硬件，一半NVIDIA/其他”。根據馬斯克的一月評論，“其他”可能包括AMD芯片。

Dojo對特斯拉意味著什麼？

通過控制其芯片生產，特斯拉可能會以較低的成本為其AI培訓計劃增加重要的計算功率，尤其是隨著TSMC的生產量表。

這一舉動還可以減少特斯拉對NVIDIA日益昂貴和稀缺的籌碼的依賴。在特斯拉的第二季度收益電話中，馬斯克表示擔心確保穩定的GPU供應，強調需要更多地專注於Dojo。

儘管做了這些努力，但特斯拉仍在購買NVIDIA芯片以進行AI培訓。 6月，馬斯克在X上發布：

我說特斯拉今年將要製作的大約10B $ 10B的支出中，大約是內部的一半，主要是特斯拉設計的AI推理計算機和我們所有汽車中存在的傳感器，以及Dojo。為了構建AI訓練超級克洛斯特人，NVIDIA硬件約為成本的2/3。我目前對特斯拉購買NVIDIA購買的最佳猜測是今年$ 3B至$ 4B。

- 埃隆·馬斯克（@elonmusk） 2024年6月

“推理計算”是指特斯拉車進行的實時AI計算，該計算與Dojo處理的訓練計算不同。

Dojo代表了特斯拉的冒險但有益的冒險。馬斯克承認特斯拉可能不會在Dojo上取得成功，但他將其視為特斯拉AI部門的基石，該部門最初是針對Tesla的人形機器人的FSD和Optimus進行計算機視覺標籤和培訓量身定制的。

Dojo的未來版本可以用於通用AI培訓，儘管這需要當前為GPU設計的重寫軟件。另外，特斯拉可以租用其計算能力，類似於AWS和Azure。

在第二季度收入期間，馬斯克提到“與Dojo與Nvidia競爭的道路”。摩根士丹利（Morgan Stanley）的2023年9月的一份報告表明，道喬（Dojo）可以通過在機器人和軟件服務中開設新的收入來源來為特斯拉的市場價值增加5000億美元。

從本質上講，Dojo的籌碼是特斯拉的保險單，並有可能獲得大量回報。

Dojo走了多遠？

路透社報導說，特斯拉於2023年7月開始在Dojo上生產，但2023年6月的Musk帖子表示，Dojo已經“在線並完成有用的任務已有幾個月”。

特斯拉預計，Dojo將在2024年2月之前躋身前五名最強大的超級計算機，儘管尚未公開證實，這對其成就產生了懷疑。該公司還預計，Dojo的總計算將在2024年10月之前達到100個Exaflops。 （一個Exaflops等於每秒1千億次計算機操作。要實現100個Exaflops，假設一個D1可以實現362 Teraflops，則Tesla將需要超過276,000 d1，或者需要超過276,000 d1，或者需要320,500 nvidia a100 a100 gpus。

2024年1月，特斯拉承諾在其位於紐約布法羅的Gigafactory上建造Dojo超級計算機。

2024年5月，馬斯克（Musk）提到特斯拉（Austin）的奧斯汀（Austin）Gigafactory的後部將專門用於“超級密集，水冷的超級計算機簇”，事實證明這是用於Cortex而不是Dojo。

在特斯拉的第二季度收益電話會議之後，馬斯克在X上發布了Tesla的AI團隊使用Tesla HW4 AI計算機（重命名為AI4），這是特斯拉汽車在Tesla Vehicles中發現的硬件，在與Nvidia GPUS的訓練循環中。他指出，故障大約為90,000 nvidia h100s加40,000 AI4計算機。

他繼續說：“ Dojo 1到年底將在網上進行大約8K H100的培訓。” “不是很大，但也不是小。”

特斯拉尚未確認這些芯片現在是否正在運行並運行Dojo。在公司2024年第四季度的收益電話中，沒有提及Dojo，但特斯拉確實報告了在第四季度完成了Cortex的部署，該Q4啟用了監督FSD的V13。

這個故事最初發表於2024年8月3日，隨著新信息的發展，我們將進行更新。