MIPS에서 엑사플롭스로 수십 년 만에: 컴퓨팅 파워가 폭발적으로 증가하며 AI를 변혁할 것이다

최근 Nvidia GTC 컨퍼런스에서 이 테크 거인은 획기적인 성과를 공개했다: 단일 랙 서버 시스템으로 최초로 1엑사플롭에 도달한 것이다. 이는 초당 10억의 10억(1 quintillion) 부동소수점 연산(FLOPS)을 의미하는 놀라운 수치다. 이 업적은 Nvidia의 최신 GB200 NVL72 시스템과 최첨단 Blackwell 그래픽 처리 장치(GPUs)로 가능해졌다. 이를 직관적으로 이해하자면, 이 시스템은 약 6피트 높이, 3피트가 조금 넘는 깊이, 2피트 미만의 너비를 가진 표준 컴퓨터 랙에 들어간다.

엑사플롭의 축소: Frontier에서 Blackwell까지

이 발표는 우리가 불과 몇 년 만에 얼마나 멀리 왔는지 생각하게 했다. 세계 최초의 엑사플롭급 컴퓨터인 "Frontier"는 2022년 Oak Ridge National Laboratory에 설치되었다. HPE가 제작하고 AMD GPUs와 CPUs로 구동되는 이 시스템은 74개의 랙을 차지했다. 반면, Nvidia의 새 시스템은 단일 랙에 73배 더 많은 성능을 담았다. 이는 3년 연속 매년 성능을 3배로 늘린 것과 같다! 이는 컴퓨팅 밀도, 에너지 효율성, 아키텍처 설계에서 이루어진 놀라운 진보를 보여준다.

두 시스템 모두 엑사스케일 이정표에 도달했지만, 서로 다른 목적을 위해 설계되었다는 점도 주목할 만하다. Nvidia의 엑사플롭 등급은 4비트 및 8비트 부동소수점 연산과 같은 저정밀 계산을 기반으로 하며, 대형 언어 모델(LLMs)의 학습 및 실행과 같은 AI 워크로드에 이상적이다. 이러한 계산은 정밀도보다 속도를 우선한다. 반면, Frontier의 엑사플롭 등급은 64비트 배정밀도 계산에서 비롯되며, 이는 정확도가 중요한 과학 시뮬레이션의 금본위제다.

우리는 매우 빠르게 멀리 왔다

이 진행 속도는 믿기 어려울 정도다, 특히 내가 컴퓨팅 경력 초기를 떠올릴 때 더욱 그렇다. 내 첫 직업은 DEC KL 1090에서 프로그래머로 일하는 것이었다. 이는 DEC의 PDP-10 시리즈 타임셰어 메인프레임의 일부였다. 그 기계는 초당 180만 명령어(MIPS)라는 소박한 속도로 작동했다. 음극선관(CRT) 디스플레이와 하드와이어 케이블로 연결되었으며, 그래픽은 전혀 없었다—화면에 텍스트만 있었다. 물론 인터넷도 없었다. 원격 사용자는 초당 1,200비트로 제한된 모뎀을 통해 전화선으로 연결해야 했다.

5000억 배 더 많은 컴퓨팅 파워

MIPS와 FLOPS를 직접 비교하는 것은 정확한 비교는 아니지만, 컴퓨팅 파워의 놀라운 도약을 느낄 수 있다. MIPS는 정수 처리 속도를 측정하며, 일반 용도 컴퓨팅과 비즈니스 애플리케이션에 적합하다. 반면, FLOPS는 부동소수점 성능을 측정하며, 과학 워크로드와 현대 AI의 무거운 작업, 예를 들어 머신 러닝(ML) 모델을 학습하고 실행하는 데 필요한 행렬 연산 및 선형 대수에 필수적이다.

이를 대략적으로 기준으로 삼으면, 새로운 Nvidia 시스템은 옛 DEC 기계보다 약 5000억 배 강력하다. 이는 단일 경력 동안 컴퓨팅 파워의 기하급수적 성장을 보여주는 놀라운 사례다. 이를 통해 궁금증이 생긴다: 40년 동안 이 정도를 달성했다면, 앞으로 5년은 무엇을 가져올까?

Nvidia는 이에 대한 힌트를 주었다. GTC에서 그들은 "Vera Rubin" Ultra 아키텍처를 기반으로 한 차세대 풀 랙 시스템이 현재 Blackwell Ultra 랙의 14배 성능을 제공할 것이라는 로드맵을 공유했다. 이는 앞으로 1~2년 내에 AI 최적화 작업에서 14~15엑사플롭에 이를 것으로 보인다.

이는 단순히 원시 파워에 관한 것만이 아니다. 이 성능을 단일 랙에 담는다는 것은 물리적 공간, 재료, 그리고 연산당 에너지 사용량을 줄이는 것을 의미한다. 하지만 이런 시스템의 절대적인 전력 수요가 여전히 크다는 점도 잊지 말자.

AI에 정말 그 모든 컴퓨팅 파워가 필요할까?

이러한 성능 향상은 인상적이지만, AI 산업은 이제 큰 질문과 씨름하고 있다: 우리는 정말로 얼마나 많은 컴퓨팅 파워가 필요하며, 그 비용은 무엇인가? 대규모 AI 데이터 센터를 건설하려는 경쟁은 엑사스케일 컴퓨팅과 점점 더 강력해지는 AI 모델의 요구에 의해 주도되고 있다.

가장 야심찬 프로젝트는 5000억 달러 규모의 Project Stargate로, 미국 전역에 각각 50만 평방피트 규모의 20개 데이터 센터를 계획하고 있다. 전 세계적으로 기업과 국가들이 미래 AI 워크로드를 위한 인프라를 구축하기 위해 초대규모 프로젝트가 진행 중이거나 준비 중이다.

일부 분석가들은 우리가 과도하게 건설하고 있을지도 모른다고 우려하고 있다. 중국의 DeepSeek에서 나온 추론 모델 R1이 동급 모델보다 훨씬 적은 컴퓨팅을 사용한다는 발표 이후 이러한 우려는 커졌다. 마이크로소프트가 여러 데이터 센터 제공업체와의 임대 계약을 최근 취소한 것은 그들의 AI 인프라 필요를 재고하고 있을지도 모른다는 추측을 낳았다.

그러나 The Register는 이 철회가 차세대 AI 시스템의 전력 및 냉각 요구를 처리할 수 없는 데이터 센터 계획과 관련이 있을 수 있다고 제안했다. AI 모델은 이미 현재 인프라의 한계를 밀어붙이고 있다. MIT Technology Review는 중국의 많은 데이터 센터가 구형 사양으로 건설되어 어려움을 겪고 실패하고 있다고 보도했다.

AI 추론은 더 많은 FLOPS를 요구한다

추론 모델은 런타임에 추론이라는 과정을 통해 대부분의 무거운 작업을 수행한다. 이러한 모델은 심층 연구 어시스턴트 및 새롭게 등장하는 에이전트 기반 AI 시스템과 같은 가장 고급스럽고 자원 집약적인 애플리케이션에 동력을 제공한다.

DeepSeek-R1이 미래 AI가 더 적은 컴퓨팅 파워를 필요할 것이라고 처음에는 업계에 기대를 주었지만, Nvidia CEO Jensen Huang은 강하게 반박했다. CNBC 인터뷰에서 그는 정반대의 결론을 내렸다: "모두가 생각했던 것과 정반대의 결론이었다." 그는 추론 AI가 비추론 AI보다 100배 더 많은 컴퓨팅을 소모한다고 덧붙였다.

AI가 추론 모델에서 자율 에이전트로, 그리고 그 너머로 진화함에 따라 컴퓨팅 파워에 대한 수요는 다시 급증할 가능성이 크다. 다음 돌파구는 AI 에이전트 조정, 융합 시뮬레이션, 또는 대규모 디지털 트윈과 같은 영역에서 올 수 있으며, 이는 우리가 방금 본 컴퓨팅 도약으로 가능해졌다.

마치 신호에 맞춘 듯, OpenAI는 사상 최대 규모의 민간 기술 펀딩 라운드인 400억 달러의 신규 자금 조달을 발표했다. 블로그 포스트에서 그들은 이 자금이 "AI 연구의 한계를 더 멀리 밀어내고, 컴퓨팅 인프라를 확장하며, 매주 ChatGPT를 사용하는 5억 명의 사람들에게 점점 더 강력한 도구를 제공할 수 있게 한다"고 말했다.

왜 이렇게 많은 자본이 AI로 몰리고 있을까? 이유는 경쟁력에서 국가 안보에 이르기까지 다양하지만, 한 가지 요인이 두드러진다: McKinsey에 따르면 AI는 연간 4.4조 달러의 기업 이익을 증가시킬 수 있다.

다음은 무엇일까? 누구도 모른다

정보 시스템의 핵심은 복잡성을 단순화하는 것이다. 내가 Fortran으로 작성한 긴급 차량 경로 시스템, COBOL로 만든 학생 성취 보고 도구, 또는 현대 AI 시스템이 약물 발견을 가속화하는 것 모두 같은 목표를 가지고 있다: 세상을 이해하는 것이다.

이제 강력한 AI가 다가오면서 우리는 한계선을 넘고 있다. 처음으로 우리는 인간의 손이 닿지 않던 문제를 해결할 수 있는 컴퓨팅 파워와 지능을 가질지도 모른다.

뉴욕 타임스 칼럼니스트 Kevin Roose는 이 순간을 잘 포착했다: "매주 나는 AI에 종사하는 엔지니어와 기업가들을 만나는데, 그들은 변화—큰 변화, 세상을 뒤흔드는 변화, 우리가 전에 보지 못한 종류의 변화—가 바로 코앞에 있다고 말한다." 그리고 이는 매주 도착하는 돌파구를 세지 않은 것이다.

지난 며칠 동안만 해도 OpenAI의 GPT-4o가 텍스트에서 거의 완벽한 이미지를 생성하고, Google이 Gemini 2.5 Pro로 지금까지 가장 진보된 추론 모델을 출시했으며, Runway가 샷 간 캐릭터와 장면 일관성을 갖춘 비디오 모델을 공개했다. VentureBeat는 이것이 대부분의 AI 비디오 생성기에서 지금까지 달성하지 못한 것이라고 지적했다.

다음은 무엇일까? 정말로 누구도 모른다. 강력한 AI가 돌파구가 될지, 붕괴가 될지, 융합 에너지를 해결하는 데 도움이 될지, 새로운 생물학적 위험을 초래할지 알 수 없다. 하지만 앞으로 5년 동안 더 많은 FLOPS가 온라인으로 제공됨에 따라 한 가지는 확실해 보인다: 혁신은 빠르고 강력하게 올 것이다. FLOPS가 확장됨에 따라 책임, 규제, 그리고 절제에 대한 우리의 대화도 확장되어야 한다.

Gary Grossman은 Edelman의 기술 실무 EVP이자 Edelman AI Center of Excellence의 글로벌 리더이다.