人工智慧實驗室向 XDOF 支付費用，以收集雜亂無章的機器人訓練數據

兩週前，OpenAI 宣布將重啟其於 2021 年關閉的機器人計畫——這是主要人工智慧實驗室正競相教導機器如何在實體世界中運作的最新跡象。然而，要打造具備實用能力的機器人，需要人工智慧產業目前仍欠缺的一項要素：與語言模型所使用的訓練數據相當的資料。

這項缺口正催生出一種新型基礎設施業務。與基於海量公開文本進行訓練的語言模型（LLMs）不同，機器人需要能捕捉實體互動的數據——而這類數據幾乎不存在。YouTube 影片和自由工作者拍攝的影像畫質較低，且難以與實體世界對齊。

今日正式出籠的 XDOF（發音為「ecks-doff」）認為，人工智慧的下一個主要瓶頸不會是模型或晶片，而是教導機器人如何與實體世界互動所需的數據回饋迴路。

這家新創公司旨在建構數據管道、蒐集工具及標註系統，這些正是前沿實驗室和機器人公司難以自行開發的——為此，該公司已從 Thrive Capital、Spark Capital、a16z、Lux 及 WndrCo 籌集了 7,000 萬美元資金。 共同創辦人兼執行長菲利普·吳（Philippe Wu）表示，XDOF 目前僱用約 60 名員工，已與 20 家客戶展開合作，其中包括數家前沿 AI 實驗室，但他無法透露具體名稱。

「所有頂尖實驗室都在致力於機器人技術，」吳表示。「我們已經看到在語言模型競賽中稍稍落後所帶來的某些弊端……你肯定不希望最終陷入這種境地：當你過晚投入這項技術時，所有人都已同舟共濟，而實體人工智慧正是下一個前沿領域。」

吳在加州大學柏克萊分校攻讀博士期間，親身經歷了這個問題。他的研究重點在於讓機器人能從大規模資料集中學習技能。但有個問題。

「我們沒有大規模數據可供使用，」他告訴 TechCrunch。「這是一個『雞生蛋還是蛋生雞』的問題——我們首先必須實際收集數據，才能開始探討如何為機器人學訓練基礎模型。」

吳與他日後在 XDOF 的共同創辦人兼技術長 Fred Shentu 共同投入了一個名為 GELLO 的專案，這是一個低成本的遙控操作系統，讓人類操作員能透過控制機械手臂來產生訓練資料。 「這篇論文最終在機器人領域產生了深遠影響，因為許多人面臨類似的需求與瓶頸，且許多人開始利用這類裝置進行資料蒐集，」吳表示。

察覺到這項商機後，吳、申圖以及第三位共同創辦人兼營運長金尼莫（Nemo Jin）於2024年10月共同創立了XDOF，旨在為致力於機器人模型研發的企業提供數據生態系統。 鑑於單純提供數據可能是一條死胡同，該公司同時專注於數據清理、工具開發及標註——為機器人訓練師建立一個自我強化的正向回饋循環。

作為起步，該公司正與加州大學柏克萊分校的人工智慧研究實驗室合作，發布其自認為有史以來規模最大的高品質機器人訓練資料集，名為 ABC。該資料集包含 130,000 組機器人操作軌跡資料、300 小時的模擬資料，以及 100 小時的評估資料。 此類大規模的預訓練數據，在學術界此前從未出現過。

「我們在語言、影像生成及其他領域中觀察到，當模型和數據公開後，研究社群往往能達成超乎預期的成果，」協助籌備此次發布的柏克萊大學博士生大衛·麥卡利斯特（David McAllister）向 TechCrunch 表示。

該團隊已利用這些數據，訓練機器人執行諸如摺疊 T 恤、壓平紙箱，或是將 AirPods 放入充電盒等基準任務。

無限的自由度

該公司計畫在「數據金字塔」的三個層級上展開工作。最具價值的層級是從實際部署的機器人上收集的遙控操作數據；其次是透過遙控機器人收集更通用數據的層級，例如 GELLO；最後則是人類執行日常任務時收集的「自我中心」數據，針對此類數據，XDOF 計畫開發專屬的可穿戴感測器。

「你選擇的相機將影響數據品質——這進而會影響手部追蹤演算法的表現，」吳表示。「如果一開始沒有妥善設計硬體，所收集的數據可能會出現你未曾預料到的特定問題。」

該公司計畫在全球範圍內招募並培訓大批遙控操作員和以自我為中心數據操作員——這種勞動密集型模式引發了一個顯而易見的問題：為什麼主要的研究實驗室不親自進行這項數據生產工作呢？

「你需要一個擁有數十萬平方英尺空間、配備數百台機器人的倉庫，」吳表示。「你必須維護這些機器人、校準其物理參數，並妥善培訓操作員。」

這項建置需要專注力、資本以及營運規模，而大多數人工智慧實驗室寧願將其外包——這正是 XDOF 押注的市場。

XDOF 這個名稱源自機器人學術語「自由度」（degrees of freedom），用以描述機器人能夠執行的獨立動作數量。以人類的手臂為例，從肩膀到手腕共有七個自由度。 人形機器人公司 Figure.AI 的最新機器人則擁有 30 個自由度。公司名稱中的「X」體現了其雄心壯志：「任意的自由度，無限的自由度，」吳表示。