Google은 주요 숨겨진 AI 비용을 슬래시하기 위해 새로운 칩을 공개합니다.

구글 클라우드 넥스트 25 이벤트에서 구글은 최신 텐서 프로세싱 유닛(TPU)인 아이언우드(Ironwood)를 공개했습니다. 이 새로운 칩은 구글의 초점이 훈련에서 추론으로 크게 전환되었음을 나타냅니다. 전통적으로 TPU는 AI 전문가와 데이터 과학자들이 주도하는 신경망 훈련에 사용되었습니다. 하지만 아이언우드를 통해 구글은 이제 수백만, 아니 수십억 사용자의 실시간 예측 요구를 겨냥하고 있습니다.

아이언우드 TPU

아이언우드 TPU의 출시는 AI 산업에서 실험적 프로젝트에서 비즈니스에 의한 AI 모델의 실제 적용으로 초점이 이동하는 결정적인 시점에 이루어졌습니다. 구글의 제미니(Gemini)와 같은 고급 AI 모델의 등장으로 추론 능력이 향상되면서 추론 중 컴퓨팅 파워에 대한 수요가 급증했습니다. 이 변화는 비용을 증가시키고 있으며, 구글은 아이언우드에 대한 설명에서 다음과 같이 밝혔습니다: "추론과 다단계 추론은 컴퓨팅에 대한 추가 수요—그리고 이에 따른 비용—를 훈련에서 추론 시간(테스트 시간 스케일링)으로 이동시키고 있습니다." 아이언우드는 점점 더 비용이 많이 드는 추론 분야에서 성능과 효율성을 최적화하려는 구글의 약속을 나타냅니다.

추론 칩

구글의 TPU 여정은 10년 이상 이어져 왔으며, 아이언우드 이전에 6세대가 있었습니다. 훈련 칩은 소량으로 생산되지만, 추론 칩은 훈련된 모델에서 매일 예측이 필요한 더 많은 사용자층을 대상으로 하여 대량 시장을 형성합니다. 이전에 구글의 6세대 TPU인 트릴리움(Trillium)은 훈련과 추론 모두에 적합한 칩으로 포지셔닝되었습니다. 하지만 아이언우드가 추론에 주로 초점을 맞춘 것은 이러한 이중 목적 접근에서 주목할 만한 전환을 나타냅니다.

필수 투자

이러한 초점의 변화는 구글의 인텔, AMD, 엔비디아 같은 외부 칩 제조사에 대한 의존도 변화의 신호일 수 있습니다. 역사적으로 이들 벤더는 키뱅크 캐피털 마켓(KeyBanc Capital Markets)에 따르면 구글의 클라우드 컴퓨팅 운영에 사용된 프로세서의 99%를 차지했습니다. 자체 TPU에 투자함으로써 구글은 이러한 공급업체에 대한 의존도를 줄이고 AI 인프라의 급등하는 비용을 절감하려는 목표를 가질 수 있습니다. DA 데이비슨의 길 루리아(Gil Luria)와 같은 주식 분석가들은 구글이 TPU를 엔비디아의 고객에게 직접 판매했다면 작년에 최대 240억 달러의 수익을 창출했을 것이라고 추정했습니다.

아이언우드 vs. 트릴리움

구글은 이벤트에서 아이언우드의 트릴리움 대비 기술적 우수성을 선보였습니다. 아이언우드는 와트당 성능이 두 배이며, 초당 29.3조 부동소수점 연산을 달성합니다. 또한 192GB의 고대역폭 메모리(HBM)를 갖추고 있으며, 이는 트릴리움의 6배에 달합니다. 메모리 대역폭은 초당 7.2테라비트로, 트릴리움보다 4.5배 높습니다. 이러한 향상은 구글이 말했듯이 "아이언우드는 대규모 텐서 조작을 수행하면서 칩 내 데이터 이동과 지연을 최소화하도록 설계되었습니다."

AI 인프라 스케일링

메모리와 대역폭의 발전은 구글의 AI 인프라 스케일링 전략의 핵심입니다. 스케일링은 그룹화된 칩을 효율적으로 활용하여 병렬로 문제를 해결함으로써 성능과 활용도를 높이는 것을 포함합니다. 이는 경제적 이유로 중요하며, 높은 활용도는 비용이 많이 드는 자원의 낭비를 줄입니다. 구글은 이전에 트릴리움의 수십만 개 칩으로 스케일링할 수 있는 능력을 강조했으며, 마찬가지로 아이언우드의 "수십만 개의 아이언우드 칩을 구성하여 GenAI 계산의 최전선을 빠르게 발전시킬 수 있는 능력"을 강조했습니다.

하드웨어 발표와 함께 구글은 다양한 기계에 AI 컴퓨팅 작업을 분산시키는 소프트웨어 솔루션인 패스웨이즈 온 클라우드(Pathways on Cloud)를 소개했습니다. 이전에는 내부적으로 사용되었던 이 소프트웨어가 이제 공개적으로 제공되며, 구글의 AI 인프라 기능을 더욱 강화합니다.