創始人說
輝達與合作夥伴全球擴展AI資料中心
輝達(Nvidia)與其合作夥伴及客戶積極擴大全球電腦設施的規模,以滿足訓練如GPT-4等大型人工智慧(AI)模型的高運算需求。隨著更多AI模型投入實際應用,這種擴展將變得更加重要,光學運算新創公司Lightmatter的共同創辦人Thomas Graham表示。在紐約與彭博情報(Bloomberg Intelligence)資深科技分析師Mandeep Singh的近期訪談中,Graham強調了對運算資源日益增長的需求。
Graham解釋道:「對更多運算的需求不僅關乎規模法則,還涉及現在部署這些AI模型。」Singh詢問了像GPT-4這樣的大型語言模型(LLMs)的未來,以及它們是否會繼續擴大規模。Graham將焦點轉向AI的實際應用,強調推論(inferencing)或部署階段的重要性,這需要大量的運算能力。
Graham在彭博情報主辦的「生成式AI:能否實現生產力承諾?」會議上表示:「如果你將訓練視為研發,推論實際上就是部署。當你進行部署時,你將需要大規模的電腦來運行你的模型。」
Graham的觀點與輝達執行長Jensen Huang一致,後者向華爾街強調,推進「代理型」AI形式不僅需要更複雜的訓練,還需要顯著增強的推論能力,這將導致運算需求的指數級增長。

Graham說:「如果你將訓練視為研發,推論實際上是部署,當你進行部署時,你將需要大型電腦來運行你的模型。」照片:彭博,Craig Warga提供 Lightmatter在AI基礎設施中的角色
Lightmatter成立於2018年,專注於開發使用光學連接的晶片技術,將多個處理器連接在單一半導體晶片上。這些光學互連比傳統銅線更高效地傳輸資料,耗能更少。Graham表示,這項技術可以簡化資料中心機架內部及機架之間的連接,提升資料中心的整體效率與經濟性。
Graham對Singh表示:「通過將資料中心中的銅線路徑——包括伺服器印刷電路板上及機架間的電纜——替換為光纖,我們可以大幅增加頻寬。」Lightmatter目前正與多家科技公司合作設計新的資料中心,Graham指出,這些設施正從頭開始建造。該公司已與位於紐約上州的合約半導體製造商Global Foundries建立合作關係,後者服務於如Advanced Micro Devices等客戶。
雖然Graham未透露除此之外的具體合作夥伴與客戶,但他暗示Lightmatter與如Broadcom或Marvell等矽供應商合作,為Google、Amazon和Microsoft等設計自家資料中心處理器的科技巨頭打造客製化組件。
AI資料中心的規模與未來
為說明AI部署的規模,Graham指出,至少有十二個新的AI資料中心正在規劃或建設中,每個都需要一吉瓦(gigawatt)的電力。他說:「為了提供背景資料,紐約市平均每天使用大約五吉瓦的電力。因此,我們談論的是多個紐約市的電力消耗。」他預測,到2026年,全球AI處理將需要40吉瓦的電力,相當於八個紐約市,專門用於AI資料中心。
Lightmatter最近獲得4億美元的風險投資,估值達44億美元。Graham提到,公司計劃在「未來幾年」開始生產。
當被問及可能對Lightmatter計劃造成干擾的因素時,Graham對持續擴展AI運算基礎設施的需求表示信心。然而,他承認,如果AI演算法取得突破,顯著減少運算需求或更快實現人工通用智慧(AGI),可能會挑戰當前對運算需求指數級增長的假設。
相關文章
Anthropic 的實驗性 AI「Claude」在電子商務測試中完成了談判與交易
隨著人工智慧的快速發展,Anthropic 上週五悄悄推出了一項名為「Project Deal」的內部實驗,展現了人工智慧在電子商務領域的潛力。該實驗讓其人工智慧模型 Claude 在封閉的市場環境中自主處理買賣及價格協商,並涉及真實的金融交易。實驗的核心是一個建構於 Slack 平台上的內部市場,Claude 在其中同時擔任買方與賣方的談判代表。它首先訪談了 69 名員工,以收集他們的買賣意圖及
DeepSeek Code 即將推出
隨著人工智慧技術的加速發展,DeepSeek 正處於一個令人振奮的轉捩點。這家人工智慧公司最近透露,已獲得超過 700 億元的資金。管理層強調,公司致力於突破性的人工智慧研究,而非追求眼前的商業利益。這一戰略轉向表明 DeepSeek 將全力投入新產品的開發,尤其是眾人矚目的 DeepSeek Code。DeepSeek Code 的規劃已逐漸成形,該公司職缺頁面已發布數個相關職位,例如「Agen
馬斯克的 Grok:1.5 兆個參數與游標程式碼吸收——是遊戲規則的改變者,還是虛張聲勢?
伊隆·馬斯克終於有所行動。在人工智慧程式設計的競賽中,OpenAI 和 Anthropic 正加速前進,而 xAI 似乎落後了。馬斯克曾多次表示其目標是與 Claude 抗衡,然而儘管 Grok4.X 系列已進行多次更新,成果在理論上看似不錯,但在實際應用中卻未能達標,兩者之間的差距幾乎未見縮小。不過,這次他握有一張新王牌。馬斯克在 X 平台上證實,Grok 的新版本即將問世。 這款基礎模型第九版
相關專題推薦
評論 (35)
0/500
So AI's energy consumption might outpace entire cities? 😳 That puts the 'cost' of innovation into a whole new perspective. Will there be a breakthrough in energy-efficient hardware soon, or are we just betting on renewable energy scaling fast enough?
Wow, Energieverbrauch wie mehrere New Yorks bis 2026? Das ist krass. Die AI-Boom ist ja mega spannend, aber wenn Data Center bald mehr Strom als Länder fressen... irgendwie gruselig. Macht man sich Gedanken über Klima und ob das wirklich nachhaltig ist. 🤔 Hoffentlich forscht man auch an effizienteren Lösungen, sonst knallt's.
AIの消費電力がニューヨーク市全体を超えるなんて…技術革新と環境負荷のバランスが気になりますね。電力を食い尽くす前に再生可能エネルギーへの移行が必要では?🌍 日本でもAIデータセンターの増設が進んでいますが、電力問題は他人事じゃないです。
C'est vraiment impressionnant, mais aussi un peu inquiétant 🫢. Une consommation d'énergie comparable à plusieurs villes de la taille de New York d'ici 2026 ? J'espère qu'ils pensent aussi au développement des énergies renouvelables en parallèle, sinon l'impact écologique risque d'être colossal.
Mind-blowing how AI's eating up power like a sci-fi monster! 😱 By 2026, it'll need multiple NYCs' worth of electricity? Hope they figure out sustainable energy fast, or we’re all in for a wild ride.
輝達與合作夥伴全球擴展AI資料中心
輝達(Nvidia)與其合作夥伴及客戶積極擴大全球電腦設施的規模,以滿足訓練如GPT-4等大型人工智慧(AI)模型的高運算需求。隨著更多AI模型投入實際應用,這種擴展將變得更加重要,光學運算新創公司Lightmatter的共同創辦人Thomas Graham表示。在紐約與彭博情報(Bloomberg Intelligence)資深科技分析師Mandeep Singh的近期訪談中,Graham強調了對運算資源日益增長的需求。
Graham解釋道:「對更多運算的需求不僅關乎規模法則,還涉及現在部署這些AI模型。」Singh詢問了像GPT-4這樣的大型語言模型(LLMs)的未來,以及它們是否會繼續擴大規模。Graham將焦點轉向AI的實際應用,強調推論(inferencing)或部署階段的重要性,這需要大量的運算能力。
Graham在彭博情報主辦的「生成式AI:能否實現生產力承諾?」會議上表示:「如果你將訓練視為研發,推論實際上就是部署。當你進行部署時,你將需要大規模的電腦來運行你的模型。」
Graham的觀點與輝達執行長Jensen Huang一致,後者向華爾街強調,推進「代理型」AI形式不僅需要更複雜的訓練,還需要顯著增強的推論能力,這將導致運算需求的指數級增長。

Lightmatter在AI基礎設施中的角色
Lightmatter成立於2018年,專注於開發使用光學連接的晶片技術,將多個處理器連接在單一半導體晶片上。這些光學互連比傳統銅線更高效地傳輸資料,耗能更少。Graham表示,這項技術可以簡化資料中心機架內部及機架之間的連接,提升資料中心的整體效率與經濟性。
Graham對Singh表示:「通過將資料中心中的銅線路徑——包括伺服器印刷電路板上及機架間的電纜——替換為光纖,我們可以大幅增加頻寬。」Lightmatter目前正與多家科技公司合作設計新的資料中心,Graham指出,這些設施正從頭開始建造。該公司已與位於紐約上州的合約半導體製造商Global Foundries建立合作關係,後者服務於如Advanced Micro Devices等客戶。
雖然Graham未透露除此之外的具體合作夥伴與客戶,但他暗示Lightmatter與如Broadcom或Marvell等矽供應商合作,為Google、Amazon和Microsoft等設計自家資料中心處理器的科技巨頭打造客製化組件。
AI資料中心的規模與未來
為說明AI部署的規模,Graham指出,至少有十二個新的AI資料中心正在規劃或建設中,每個都需要一吉瓦(gigawatt)的電力。他說:「為了提供背景資料,紐約市平均每天使用大約五吉瓦的電力。因此,我們談論的是多個紐約市的電力消耗。」他預測,到2026年,全球AI處理將需要40吉瓦的電力,相當於八個紐約市,專門用於AI資料中心。
Lightmatter最近獲得4億美元的風險投資,估值達44億美元。Graham提到,公司計劃在「未來幾年」開始生產。
當被問及可能對Lightmatter計劃造成干擾的因素時,Graham對持續擴展AI運算基礎設施的需求表示信心。然而,他承認,如果AI演算法取得突破,顯著減少運算需求或更快實現人工通用智慧(AGI),可能會挑戰當前對運算需求指數級增長的假設。
Anthropic 的實驗性 AI「Claude」在電子商務測試中完成了談判與交易
隨著人工智慧的快速發展,Anthropic 上週五悄悄推出了一項名為「Project Deal」的內部實驗,展現了人工智慧在電子商務領域的潛力。該實驗讓其人工智慧模型 Claude 在封閉的市場環境中自主處理買賣及價格協商,並涉及真實的金融交易。實驗的核心是一個建構於 Slack 平台上的內部市場,Claude 在其中同時擔任買方與賣方的談判代表。它首先訪談了 69 名員工,以收集他們的買賣意圖及
DeepSeek Code 即將推出
隨著人工智慧技術的加速發展,DeepSeek 正處於一個令人振奮的轉捩點。這家人工智慧公司最近透露,已獲得超過 700 億元的資金。管理層強調,公司致力於突破性的人工智慧研究,而非追求眼前的商業利益。這一戰略轉向表明 DeepSeek 將全力投入新產品的開發,尤其是眾人矚目的 DeepSeek Code。DeepSeek Code 的規劃已逐漸成形,該公司職缺頁面已發布數個相關職位,例如「Agen
馬斯克的 Grok:1.5 兆個參數與游標程式碼吸收——是遊戲規則的改變者,還是虛張聲勢?
伊隆·馬斯克終於有所行動。在人工智慧程式設計的競賽中,OpenAI 和 Anthropic 正加速前進,而 xAI 似乎落後了。馬斯克曾多次表示其目標是與 Claude 抗衡,然而儘管 Grok4.X 系列已進行多次更新,成果在理論上看似不錯,但在實際應用中卻未能達標,兩者之間的差距幾乎未見縮小。不過,這次他握有一張新王牌。馬斯克在 X 平台上證實,Grok 的新版本即將問世。 這款基礎模型第九版
So AI's energy consumption might outpace entire cities? 😳 That puts the 'cost' of innovation into a whole new perspective. Will there be a breakthrough in energy-efficient hardware soon, or are we just betting on renewable energy scaling fast enough?
Wow, Energieverbrauch wie mehrere New Yorks bis 2026? Das ist krass. Die AI-Boom ist ja mega spannend, aber wenn Data Center bald mehr Strom als Länder fressen... irgendwie gruselig. Macht man sich Gedanken über Klima und ob das wirklich nachhaltig ist. 🤔 Hoffentlich forscht man auch an effizienteren Lösungen, sonst knallt's.
AIの消費電力がニューヨーク市全体を超えるなんて…技術革新と環境負荷のバランスが気になりますね。電力を食い尽くす前に再生可能エネルギーへの移行が必要では?🌍 日本でもAIデータセンターの増設が進んでいますが、電力問題は他人事じゃないです。
C'est vraiment impressionnant, mais aussi un peu inquiétant 🫢. Une consommation d'énergie comparable à plusieurs villes de la taille de New York d'ici 2026 ? J'espère qu'ils pensent aussi au développement des énergies renouvelables en parallèle, sinon l'impact écologique risque d'être colossal.
Mind-blowing how AI's eating up power like a sci-fi monster! 😱 By 2026, it'll need multiple NYCs' worth of electricity? Hope they figure out sustainable energy fast, or we’re all in for a wild ride.





首頁






