创始人说
英伟达及其合作伙伴在全球扩展人工智能数据中心
英伟达与其合作伙伴和客户一直在积极扩大全球计算机设施的规模,以满足训练大型人工智能(AI)模型(如GPT-4)的高计算需求。据光学计算初创公司Lightmatter的联合创始人托马斯·格雷厄姆(Thomas Graham)表示,随着更多人工智能模型投入生产,这种扩展将变得更加关键。在最近于纽约接受彭博智能(Bloomberg Intelligence)高级技术分析师曼迪普·辛格(Mandeep Singh)采访时,格雷厄姆强调了对计算资源日益增长的需求。
“对更多计算能力的需求不仅仅关乎规模法则,还关乎现在部署这些人工智能模型,”格雷厄姆解释说。辛格询问了像GPT-4这样的大型语言模型(LLMs)的未来,以及它们是否会继续扩大规模。对此,格雷厄姆将重点转向人工智能的实际应用,强调推理(inferencing)或部署阶段的重要性,这需要大量的计算能力。
“如果你将训练视为研发,推理实际上就是部署。当你进行部署时,你需要大规模计算机来运行你的模型,”格雷厄姆在彭博智能主办的“生成式人工智能:能兑现生产力承诺吗?”会议上表示。
格雷厄姆的观点与英伟达首席执行官黄仁勋(Jensen Huang)的看法一致,黄仁勋向华尔街强调,推进“代理型”人工智能形式不仅需要更复杂的训练,还需要显著增强的推理能力,这将导致计算需求呈指数级增长。

“如果你将训练视为研发,推理实际上就是部署,当你进行部署时,你需要大型计算机来运行你的模型,”格雷厄姆说。照片:彭博社,克雷格·瓦尔加(Craig Warga)提供 Lightmatter在人工智能基础设施中的角色
成立于2018年的Lightmatter处于开发芯片技术的前沿,该技术使用光学连接在一个半导体芯片上连接多个处理器。这些光学互连可以比传统铜线更高效地传输数据,使用的能源更少。据格雷厄姆介绍,这项技术可以简化数据中心机架内和机架之间的连接,提高数据中心的整体效率和经济性。
“通过用光纤替换数据中心中的铜线——包括服务器印刷电路板上的铜线和机架之间的电缆——我们可以显著提高带宽,”格雷厄姆对辛格说。Lightmatter目前正与多家科技公司合作设计新的数据中心,格雷厄姆指出,这些设施正在从零开始建设。该公司已与全球代工厂(Global Foundries)建立合作伙伴关系,这家位于纽约州北部的合同半导体制造商为先进微器件(Advanced Micro Devices)等客户提供服务。
虽然格雷厄姆没有透露除此之外的具体合作伙伴和客户,但他暗示Lightmatter与博通(Broadcom)或马威尔(Marvell)等硅供应商合作,为谷歌(Google)、亚马逊(Amazon)和微软(Microsoft)等设计自己数据中心处理器的科技巨头创建定制组件。
人工智能数据中心的规模与未来
为了说明人工智能部署的规模,格雷厄姆指出,至少有十二个新的人工智能数据中心正在计划或建设中,每个都需要一吉瓦的电力。“为了便于理解,纽约市平均每天使用大约五吉瓦的电力。所以,我们讨论的是多个纽约市的电力消耗,”他说。他预测,到2026年,全球人工智能处理将需要40吉瓦的电力,相当于八个纽约市,专门用于人工智能数据中心。
Lightmatter最近获得了4亿美元的风险投资,估值达到44亿美元。格雷厄姆提到,公司计划在“未来几年”开始生产。
当被问及可能对Lightmatter计划造成干扰的因素时,格雷厄姆对持续扩展人工智能计算基础设施的需求表示了信心。然而,他承认,如果人工智能算法取得突破,需要的计算量显著减少,或更快实现通用人工智能(AGI),可能会挑战当前对计算需求指数增长的假设。
相关文章
谷歌Gemini升级“悬浮气泡”功能,以推广轻量级AI助手
从9月6日起,谷歌开始面向安卓用户分阶段推出更新后的“最小化”快速操作按钮,该按钮采用了Gemini界面。此次更新使用户能够将占屏面积较大的Gemini覆盖层折叠成一个紧凑的浮动气泡,该气泡标有Spark标志,仅占用极小的屏幕空间。这一改进克服了传统全屏、侵入式移动AI交互的局限性。现在,用户可以在Gemini在后台处理复杂查询的同时,无缝地在电子邮件、社交媒体或网页浏览器之间切换,从而显著提升了
谷歌推出“Dreambeans”——其迄今为止最奇特的人工智能工具,可将你的生活变成卡通片
负责实验性产品设计的部门 Google Labs 发布了一款面向 iOS 和 Android 平台的新型人工智能应用,它能让你的日常生活焕发活力。向大家介绍 Dreambeans。关于这个名字的由来,稍后将进行说明。这款工具究竟是什么?该应用的产品负责人戈兹德·奥兹努尔(Gozde Oznur)向TechCrunch解释道,其核心理念是整合用户在各类谷歌服务中的数据,从而生成一套由人工智能生成的个
《超人》对大学教育的批判引发了关于在人工智能时代重新定义成长与职业的讨论
在人工智能飞速发展的时代,传统教育和职业规划正面临前所未有的挑战。OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)近日在“Internapalooza”科技实习生活动上发表了一场发人深省的演讲,他认为在当今世界,四年制大学学位已经过时,而两年制高等教育则“恰到好处”。 这一观点重新点燃了关于人工智能时代传统高等教育真正价值的争论。回顾自己的经历,奥特曼提到,他在斯坦福大学就读两年后辍学
相关专题推荐
评论 (37)
0/500
So we're basically trading human brainpower for literal power plants? AI is cool but the energy cost is insane. 😅
Holy crap, that's a lot of juice! 😅 I knew AI training was power-hungry, but comparing it to multiple NYC's worth of electricity by 2026 really puts it in perspective. Are we just gonna ignore the environmental cost while chasing bigger models? Hope Nvidia's got some efficiency tricks up their sleeves...
So AI's energy consumption might outpace entire cities? 😳 That puts the 'cost' of innovation into a whole new perspective. Will there be a breakthrough in energy-efficient hardware soon, or are we just betting on renewable energy scaling fast enough?
Wow, Energieverbrauch wie mehrere New Yorks bis 2026? Das ist krass. Die AI-Boom ist ja mega spannend, aber wenn Data Center bald mehr Strom als Länder fressen... irgendwie gruselig. Macht man sich Gedanken über Klima und ob das wirklich nachhaltig ist. 🤔 Hoffentlich forscht man auch an effizienteren Lösungen, sonst knallt's.
AIの消費電力がニューヨーク市全体を超えるなんて…技術革新と環境負荷のバランスが気になりますね。電力を食い尽くす前に再生可能エネルギーへの移行が必要では?🌍 日本でもAIデータセンターの増設が進んでいますが、電力問題は他人事じゃないです。
英伟达及其合作伙伴在全球扩展人工智能数据中心
英伟达与其合作伙伴和客户一直在积极扩大全球计算机设施的规模,以满足训练大型人工智能(AI)模型(如GPT-4)的高计算需求。据光学计算初创公司Lightmatter的联合创始人托马斯·格雷厄姆(Thomas Graham)表示,随着更多人工智能模型投入生产,这种扩展将变得更加关键。在最近于纽约接受彭博智能(Bloomberg Intelligence)高级技术分析师曼迪普·辛格(Mandeep Singh)采访时,格雷厄姆强调了对计算资源日益增长的需求。
“对更多计算能力的需求不仅仅关乎规模法则,还关乎现在部署这些人工智能模型,”格雷厄姆解释说。辛格询问了像GPT-4这样的大型语言模型(LLMs)的未来,以及它们是否会继续扩大规模。对此,格雷厄姆将重点转向人工智能的实际应用,强调推理(inferencing)或部署阶段的重要性,这需要大量的计算能力。
“如果你将训练视为研发,推理实际上就是部署。当你进行部署时,你需要大规模计算机来运行你的模型,”格雷厄姆在彭博智能主办的“生成式人工智能:能兑现生产力承诺吗?”会议上表示。
格雷厄姆的观点与英伟达首席执行官黄仁勋(Jensen Huang)的看法一致,黄仁勋向华尔街强调,推进“代理型”人工智能形式不仅需要更复杂的训练,还需要显著增强的推理能力,这将导致计算需求呈指数级增长。

Lightmatter在人工智能基础设施中的角色
成立于2018年的Lightmatter处于开发芯片技术的前沿,该技术使用光学连接在一个半导体芯片上连接多个处理器。这些光学互连可以比传统铜线更高效地传输数据,使用的能源更少。据格雷厄姆介绍,这项技术可以简化数据中心机架内和机架之间的连接,提高数据中心的整体效率和经济性。
“通过用光纤替换数据中心中的铜线——包括服务器印刷电路板上的铜线和机架之间的电缆——我们可以显著提高带宽,”格雷厄姆对辛格说。Lightmatter目前正与多家科技公司合作设计新的数据中心,格雷厄姆指出,这些设施正在从零开始建设。该公司已与全球代工厂(Global Foundries)建立合作伙伴关系,这家位于纽约州北部的合同半导体制造商为先进微器件(Advanced Micro Devices)等客户提供服务。
虽然格雷厄姆没有透露除此之外的具体合作伙伴和客户,但他暗示Lightmatter与博通(Broadcom)或马威尔(Marvell)等硅供应商合作,为谷歌(Google)、亚马逊(Amazon)和微软(Microsoft)等设计自己数据中心处理器的科技巨头创建定制组件。
人工智能数据中心的规模与未来
为了说明人工智能部署的规模,格雷厄姆指出,至少有十二个新的人工智能数据中心正在计划或建设中,每个都需要一吉瓦的电力。“为了便于理解,纽约市平均每天使用大约五吉瓦的电力。所以,我们讨论的是多个纽约市的电力消耗,”他说。他预测,到2026年,全球人工智能处理将需要40吉瓦的电力,相当于八个纽约市,专门用于人工智能数据中心。
Lightmatter最近获得了4亿美元的风险投资,估值达到44亿美元。格雷厄姆提到,公司计划在“未来几年”开始生产。
当被问及可能对Lightmatter计划造成干扰的因素时,格雷厄姆对持续扩展人工智能计算基础设施的需求表示了信心。然而,他承认,如果人工智能算法取得突破,需要的计算量显著减少,或更快实现通用人工智能(AGI),可能会挑战当前对计算需求指数增长的假设。
谷歌Gemini升级“悬浮气泡”功能,以推广轻量级AI助手
从9月6日起,谷歌开始面向安卓用户分阶段推出更新后的“最小化”快速操作按钮,该按钮采用了Gemini界面。此次更新使用户能够将占屏面积较大的Gemini覆盖层折叠成一个紧凑的浮动气泡,该气泡标有Spark标志,仅占用极小的屏幕空间。这一改进克服了传统全屏、侵入式移动AI交互的局限性。现在,用户可以在Gemini在后台处理复杂查询的同时,无缝地在电子邮件、社交媒体或网页浏览器之间切换,从而显著提升了
谷歌推出“Dreambeans”——其迄今为止最奇特的人工智能工具,可将你的生活变成卡通片
负责实验性产品设计的部门 Google Labs 发布了一款面向 iOS 和 Android 平台的新型人工智能应用,它能让你的日常生活焕发活力。向大家介绍 Dreambeans。关于这个名字的由来,稍后将进行说明。这款工具究竟是什么?该应用的产品负责人戈兹德·奥兹努尔(Gozde Oznur)向TechCrunch解释道,其核心理念是整合用户在各类谷歌服务中的数据,从而生成一套由人工智能生成的个
《超人》对大学教育的批判引发了关于在人工智能时代重新定义成长与职业的讨论
在人工智能飞速发展的时代,传统教育和职业规划正面临前所未有的挑战。OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)近日在“Internapalooza”科技实习生活动上发表了一场发人深省的演讲,他认为在当今世界,四年制大学学位已经过时,而两年制高等教育则“恰到好处”。 这一观点重新点燃了关于人工智能时代传统高等教育真正价值的争论。回顾自己的经历,奥特曼提到,他在斯坦福大学就读两年后辍学
So we're basically trading human brainpower for literal power plants? AI is cool but the energy cost is insane. 😅
Holy crap, that's a lot of juice! 😅 I knew AI training was power-hungry, but comparing it to multiple NYC's worth of electricity by 2026 really puts it in perspective. Are we just gonna ignore the environmental cost while chasing bigger models? Hope Nvidia's got some efficiency tricks up their sleeves...
So AI's energy consumption might outpace entire cities? 😳 That puts the 'cost' of innovation into a whole new perspective. Will there be a breakthrough in energy-efficient hardware soon, or are we just betting on renewable energy scaling fast enough?
Wow, Energieverbrauch wie mehrere New Yorks bis 2026? Das ist krass. Die AI-Boom ist ja mega spannend, aber wenn Data Center bald mehr Strom als Länder fressen... irgendwie gruselig. Macht man sich Gedanken über Klima und ob das wirklich nachhaltig ist. 🤔 Hoffentlich forscht man auch an effizienteren Lösungen, sonst knallt's.
AIの消費電力がニューヨーク市全体を超えるなんて…技術革新と環境負荷のバランスが気になりますね。電力を食い尽くす前に再生可能エネルギーへの移行が必要では?🌍 日本でもAIデータセンターの増設が進んでいますが、電力問題は他人事じゃないです。





首页






