창립자는 2026 년까지 여러 NYC의 전력을 소비하기위한 AI 컴퓨팅
Nvidia와 파트너, 전 세계적으로 AI 데이터 센터 확장
Nvidia는 파트너 및 고객들과 함께 GPT-4와 같은 대규모 인공지능(AI) 모델 훈련의 높은 계산 수요를 충족하기 위해 전 세계 컴퓨터 시설의 규모를 적극적으로 확장하고 있습니다. 광학 컴퓨팅 스타트업 Lightmatter의 공동 설립자인 Thomas Graham에 따르면, 추가 AI 모델들이 본격적으로 배포됨에 따라 이러한 확장이 더욱 중요해질 것입니다. Graham은 최근 뉴욕에서 Bloomberg Intelligence의 선임 기술 애널리스트 Mandeep Singh와의 인터뷰에서 계산 자원의 증가하는 필요성을 강조했습니다.
"더 많은 계산 능력에 대한 수요는 단순히 스케일링 법칙에 관한 것이 아니라, 이제 이 AI 모델들을 배포하는 것에 관한 것입니다,"라고 Graham은 설명했습니다. Singh는 GPT-4와 같은 대규모 언어 모델(LLM)의 미래와 그 크기가 계속 커질 것인지에 대해 질문했습니다. 이에 Graham은 AI의 실질적인 적용에 초점을 맞추며, 추론(inferencing) 또는 배포 단계의 중요성을 강조했으며, 이는 상당한 계산 능력을 필요로 합니다.
"훈련을 R&D로 본다면, 추론은 본질적으로 배포입니다. 배포할 때 모델을 실행하기 위해 대규모 컴퓨터가 필요합니다,"라고 Graham은 Bloomberg Intelligence가 주최한 "Gen AI: 생산성 약속을 실현할 수 있을까?" 컨퍼런스에서 말했습니다.
Graham의 관점은 Nvidia CEO Jensen Huang의 견해와 일치합니다. Huang은 월스트리트에 "에이전트적" AI 형태의 발전은 더 정교한 훈련뿐만 아니라 추론 능력의 대폭적인 향상을 필요로 하며, 이는 계산 요구사항의 기하급수적인 증가로 이어질 것이라고 강조했습니다.

"훈련을 R&D로 본다면, 추론은 정말로 배포이고, 이를 배포하면서 모델을 실행하기 위해 대규모 컴퓨터가 필요합니다,"라고 Graham은 말했다. 사진: Bloomberg, Craig Warga 제공 AI 인프라에서 Lightmatter의 역할
2018년에 설립된 Lightmatter는 단일 반도체 다이에서 여러 프로세서를 연결하기 위해 광학 연결을 사용하는 칩 기술 개발의 선두에 있습니다. 이러한 광학 상호연결은 기존의 구리선보다 데이터를 더 효율적으로 전송하며, 에너지를 덜 사용합니다. Graham에 따르면, 이 기술은 데이터 센터 랙 내부 및 � Rack 간 연결을 간소화하여 데이터 센터의 전반적인 효율성과 경제성을 높일 수 있습니다.
"데이터 센터에서—서버의 인쇄 회로 기판과 랙 간 케이블링에서—구리선을 광섬유로 대체함으로써 대역폭을 극적으로 증가시킬 수 있습니다,"라고 Graham은 Singh에게 말했습니다. Lightmatter는 현재 다양한 기술 기업들과 새로운 데이터 센터 설계에 협력하고 있으며, Graham은 이러한 시설들이 처음부터 새로 구축되고 있다고 언급했습니다. 이 회사는 이미 뉴욕주 북부에서 운영 중인 계약 반도체 제조업체 Global Foundries와 파트너십을 맺었으며, 이는 Advanced Micro Devices 같은 고객을 서비스합니다.
Graham은 이 협력 외의 구체적인 파트너와 고객을 밝히지 않았지만, Lightmatter가 Broadcom이나 Marvell 같은 실리콘 제공업체들과 협력하여 Google, Amazon, Microsoft와 같은 기술 대기업을 위한 맞춤형 컴포넌트를 만든다고 암시했습니다. 이들은 자체 데이터 센터 프로세서를 설계합니다.
AI 데이터 센터의 규모와 미래
AI 배포의 규모를 설명하기 위해 Graham은 최소 12개의 새로운 AI 데이터 센터가 계획되거나 건설 중이며, 각각 1기가와트의 전력을 필요로 한다고 지적했습니다. "참고로, 뉴욕시는 평균적으로 약 5기가와트의 전력을 사용합니다. 즉, 여러 뉴욕시의 전력 소비에 해당하는 규모입니다,"라고 그는 말했습니다. 그는 2026년까지 전 세계 AI 처리에 40기가와트의 전력이 필요할 것으로 예측했으며, 이는 AI 데이터 센터만으로 뉴욕시 8개에 해당합니다.
Lightmatter는 최근 4억 달러의 벤처 캐피털 투자를 확보하여 회사 가치를 44억 달러로 평가받았습니다. Graham은 회사가 "앞으로 몇 년 안에" 생산을 시작할 계획이라고 언급했습니다.
Lightmatter의 계획에 대한 잠재적 방해 요인에 대해 묻자, Graham은 AI 컴퓨팅 인프라 확장의 지속적인 필요성에 대해 자신감을 표명했습니다. 그러나 그는 AI 알고리즘의 획기적인 발전으로 계산 요구가 크게 줄어들거나 인공지능 일반(AGI)이 더 빠르게 달성된다면, 현재의 기하급수적인 계산 성장 필요성에 대한 가정에 도전이 될 수 있다고 인정했습니다.
관련 기사
딥마인드 CEO 하사비스: 하루 6시간 수면, 보통 오후 1시경에 활력을 느낍니다
Fortune는 최근 Google DeepMind의 CEO인 데미스 하사비스와의 인터뷰를 소개하며, 그의 비전통적인 휴식 및 생산성 접근 방식을 공개했다. 하사비스는 자신이 매우 적게 잠을 자며, 깨어 있는 시간을 두 개의 명확한 업무 블록으로 구조화한다고 밝혔다.그의 수면 습관에 대해 하사비스는 "6시간을 목표로 하지만, 제 습관은 비정형적입니다. 하루 종일 효과적으로 기능할 수 있습니다."라고 언급했다. 그는 6시간 미만의 수면이 뇌 건강
OpenAI와 Anthropic, 매출 부진 속에서도 시장 점유율 확보 경쟁
최근 OpenAI가 매출 목표를 달성하지 못했다는 보도가 나오면서 이번 주 화요일 기술주에 압박이 가해졌음에도 불구하고, 민간 AI 연구소 투자자들은 여전히 탄탄한 모습을 보이고 있다. 노련한 투자자들은 부정적인 언론 보도에도 불구하고 투자 규모를 줄이지 않을 것이라고 밝혔다.분석가들은 현재의 AI 경쟁이 초기 단계에 불과하다고 보고, “승자 독식” 식의
캘리포니아 자율주행차 규정 준수: 과태료, 지오펜스, 100만 마일의 새로운 시대
Guident는 남부 플로리다에서 AuveTech 셔틀을 운영하며, 자사의 원격 모니터링 기술을 활용해 웨스트 팜비치에서 4마일 구간과 보카 라톤에서 1마일 구간의 노선을 관리하고 있다. | 출처: Guident캘리포니아주는 자율주행차에 대한 규제 환경을 재정의하며, 기술 업계의 “빠르게 움직이고 실패를 감수하라(move fast and break thin
관련 특별 주제 추천
의견 (37)
0/500
So we're basically trading human brainpower for literal power plants? AI is cool but the energy cost is insane. 😅
Holy crap, that's a lot of juice! 😅 I knew AI training was power-hungry, but comparing it to multiple NYC's worth of electricity by 2026 really puts it in perspective. Are we just gonna ignore the environmental cost while chasing bigger models? Hope Nvidia's got some efficiency tricks up their sleeves...
So AI's energy consumption might outpace entire cities? 😳 That puts the 'cost' of innovation into a whole new perspective. Will there be a breakthrough in energy-efficient hardware soon, or are we just betting on renewable energy scaling fast enough?
Wow, Energieverbrauch wie mehrere New Yorks bis 2026? Das ist krass. Die AI-Boom ist ja mega spannend, aber wenn Data Center bald mehr Strom als Länder fressen... irgendwie gruselig. Macht man sich Gedanken über Klima und ob das wirklich nachhaltig ist. 🤔 Hoffentlich forscht man auch an effizienteren Lösungen, sonst knallt's.
AIの消費電力がニューヨーク市全体を超えるなんて…技術革新と環境負荷のバランスが気になりますね。電力を食い尽くす前に再生可能エネルギーへの移行が必要では?🌍 日本でもAIデータセンターの増設が進んでいますが、電力問題は他人事じゃないです。
Nvidia와 파트너, 전 세계적으로 AI 데이터 센터 확장
Nvidia는 파트너 및 고객들과 함께 GPT-4와 같은 대규모 인공지능(AI) 모델 훈련의 높은 계산 수요를 충족하기 위해 전 세계 컴퓨터 시설의 규모를 적극적으로 확장하고 있습니다. 광학 컴퓨팅 스타트업 Lightmatter의 공동 설립자인 Thomas Graham에 따르면, 추가 AI 모델들이 본격적으로 배포됨에 따라 이러한 확장이 더욱 중요해질 것입니다. Graham은 최근 뉴욕에서 Bloomberg Intelligence의 선임 기술 애널리스트 Mandeep Singh와의 인터뷰에서 계산 자원의 증가하는 필요성을 강조했습니다.
"더 많은 계산 능력에 대한 수요는 단순히 스케일링 법칙에 관한 것이 아니라, 이제 이 AI 모델들을 배포하는 것에 관한 것입니다,"라고 Graham은 설명했습니다. Singh는 GPT-4와 같은 대규모 언어 모델(LLM)의 미래와 그 크기가 계속 커질 것인지에 대해 질문했습니다. 이에 Graham은 AI의 실질적인 적용에 초점을 맞추며, 추론(inferencing) 또는 배포 단계의 중요성을 강조했으며, 이는 상당한 계산 능력을 필요로 합니다.
"훈련을 R&D로 본다면, 추론은 본질적으로 배포입니다. 배포할 때 모델을 실행하기 위해 대규모 컴퓨터가 필요합니다,"라고 Graham은 Bloomberg Intelligence가 주최한 "Gen AI: 생산성 약속을 실현할 수 있을까?" 컨퍼런스에서 말했습니다.
Graham의 관점은 Nvidia CEO Jensen Huang의 견해와 일치합니다. Huang은 월스트리트에 "에이전트적" AI 형태의 발전은 더 정교한 훈련뿐만 아니라 추론 능력의 대폭적인 향상을 필요로 하며, 이는 계산 요구사항의 기하급수적인 증가로 이어질 것이라고 강조했습니다.

AI 인프라에서 Lightmatter의 역할
2018년에 설립된 Lightmatter는 단일 반도체 다이에서 여러 프로세서를 연결하기 위해 광학 연결을 사용하는 칩 기술 개발의 선두에 있습니다. 이러한 광학 상호연결은 기존의 구리선보다 데이터를 더 효율적으로 전송하며, 에너지를 덜 사용합니다. Graham에 따르면, 이 기술은 데이터 센터 랙 내부 및 � Rack 간 연결을 간소화하여 데이터 센터의 전반적인 효율성과 경제성을 높일 수 있습니다.
"데이터 센터에서—서버의 인쇄 회로 기판과 랙 간 케이블링에서—구리선을 광섬유로 대체함으로써 대역폭을 극적으로 증가시킬 수 있습니다,"라고 Graham은 Singh에게 말했습니다. Lightmatter는 현재 다양한 기술 기업들과 새로운 데이터 센터 설계에 협력하고 있으며, Graham은 이러한 시설들이 처음부터 새로 구축되고 있다고 언급했습니다. 이 회사는 이미 뉴욕주 북부에서 운영 중인 계약 반도체 제조업체 Global Foundries와 파트너십을 맺었으며, 이는 Advanced Micro Devices 같은 고객을 서비스합니다.
Graham은 이 협력 외의 구체적인 파트너와 고객을 밝히지 않았지만, Lightmatter가 Broadcom이나 Marvell 같은 실리콘 제공업체들과 협력하여 Google, Amazon, Microsoft와 같은 기술 대기업을 위한 맞춤형 컴포넌트를 만든다고 암시했습니다. 이들은 자체 데이터 센터 프로세서를 설계합니다.
AI 데이터 센터의 규모와 미래
AI 배포의 규모를 설명하기 위해 Graham은 최소 12개의 새로운 AI 데이터 센터가 계획되거나 건설 중이며, 각각 1기가와트의 전력을 필요로 한다고 지적했습니다. "참고로, 뉴욕시는 평균적으로 약 5기가와트의 전력을 사용합니다. 즉, 여러 뉴욕시의 전력 소비에 해당하는 규모입니다,"라고 그는 말했습니다. 그는 2026년까지 전 세계 AI 처리에 40기가와트의 전력이 필요할 것으로 예측했으며, 이는 AI 데이터 센터만으로 뉴욕시 8개에 해당합니다.
Lightmatter는 최근 4억 달러의 벤처 캐피털 투자를 확보하여 회사 가치를 44억 달러로 평가받았습니다. Graham은 회사가 "앞으로 몇 년 안에" 생산을 시작할 계획이라고 언급했습니다.
Lightmatter의 계획에 대한 잠재적 방해 요인에 대해 묻자, Graham은 AI 컴퓨팅 인프라 확장의 지속적인 필요성에 대해 자신감을 표명했습니다. 그러나 그는 AI 알고리즘의 획기적인 발전으로 계산 요구가 크게 줄어들거나 인공지능 일반(AGI)이 더 빠르게 달성된다면, 현재의 기하급수적인 계산 성장 필요성에 대한 가정에 도전이 될 수 있다고 인정했습니다.
딥마인드 CEO 하사비스: 하루 6시간 수면, 보통 오후 1시경에 활력을 느낍니다
Fortune는 최근 Google DeepMind의 CEO인 데미스 하사비스와의 인터뷰를 소개하며, 그의 비전통적인 휴식 및 생산성 접근 방식을 공개했다. 하사비스는 자신이 매우 적게 잠을 자며, 깨어 있는 시간을 두 개의 명확한 업무 블록으로 구조화한다고 밝혔다.그의 수면 습관에 대해 하사비스는 "6시간을 목표로 하지만, 제 습관은 비정형적입니다. 하루 종일 효과적으로 기능할 수 있습니다."라고 언급했다. 그는 6시간 미만의 수면이 뇌 건강
OpenAI와 Anthropic, 매출 부진 속에서도 시장 점유율 확보 경쟁
최근 OpenAI가 매출 목표를 달성하지 못했다는 보도가 나오면서 이번 주 화요일 기술주에 압박이 가해졌음에도 불구하고, 민간 AI 연구소 투자자들은 여전히 탄탄한 모습을 보이고 있다. 노련한 투자자들은 부정적인 언론 보도에도 불구하고 투자 규모를 줄이지 않을 것이라고 밝혔다.분석가들은 현재의 AI 경쟁이 초기 단계에 불과하다고 보고, “승자 독식” 식의
So we're basically trading human brainpower for literal power plants? AI is cool but the energy cost is insane. 😅
Holy crap, that's a lot of juice! 😅 I knew AI training was power-hungry, but comparing it to multiple NYC's worth of electricity by 2026 really puts it in perspective. Are we just gonna ignore the environmental cost while chasing bigger models? Hope Nvidia's got some efficiency tricks up their sleeves...
So AI's energy consumption might outpace entire cities? 😳 That puts the 'cost' of innovation into a whole new perspective. Will there be a breakthrough in energy-efficient hardware soon, or are we just betting on renewable energy scaling fast enough?
Wow, Energieverbrauch wie mehrere New Yorks bis 2026? Das ist krass. Die AI-Boom ist ja mega spannend, aber wenn Data Center bald mehr Strom als Länder fressen... irgendwie gruselig. Macht man sich Gedanken über Klima und ob das wirklich nachhaltig ist. 🤔 Hoffentlich forscht man auch an effizienteren Lösungen, sonst knallt's.
AIの消費電力がニューヨーク市全体を超えるなんて…技術革新と環境負荷のバランスが気になりますね。電力を食い尽くす前に再生可能エネルギーへの移行が必要では?🌍 日本でもAIデータセンターの増設が進んでいますが、電力問題は他人事じゃないです。





집






