아마존 ‘트레이니움 랩’ 단독 탐방: 칩, 앤트로픽·오픈AI·애플을 제치다

아마존의 앤디 재시(Andy Jassy) CEO가 AWS와 오픈AI(OpenAI) 간의 500억 달러 규모의 획기적인 투자 파트너십을 발표한 직후, 아마존 측은 이번 거래의 핵심인 칩 개발 연구소를 둘러볼 수 있는 비공개 투어를 주로 자사 비용으로 마련해 주었다.

업계 전문가들은 해당 시설에서 개발 중인 아마존의 ‘트레이니움(Trainium)’ 칩이 AI 추론 비용을 낮출 잠재력을 지녔으며, 엔비디아(Nvidia)의 사실상 독점 체제에 도전할 수도 있다는 점에서 이 칩을 면밀히 주시하고 있다.

호기심이 생긴 저는 그 초대를 수락했습니다.

이날 저를 안내해 준 분들은 연구소장 크리스토퍼 킹(아래 사진 오른쪽), 엔지니어링 이사 마크 캐롤(왼쪽), 그리고 이번 방문을 주선한 팀의 홍보 담당자 도론 아론슨(기사 후반부에 저와 함께 찍은 사진)이었습니다.

AWS 칩 연구소 리더인 마크 캐롤과 크리스토퍼 킹.이미지 출처:TechCrunch/Julie Bort

AWS는 이 AI 연구소가 설립된 초기부터 앤트로픽(Anthropic)의 주된 클라우드 플랫폼으로 자리 잡아 왔으며, 이 관계는 앤트로픽이 나중에 마이크로소프트(Microsoft)를 클라우드 파트너로 추가하고 아마존(Amazon)이 오픈AI(OpenAI)와의 유대를 강화했을 때에도 지속될 만큼 견고했습니다.

오픈AI와의 계약에 따르면, AWS는 이 모델 제작사의 새로운 AI 에이전트 빌더인 ‘프론티어(Frontier)’의 독점 공급자로 지정되었습니다. 에이전트가 실리콘 밸리의 기대에 부응한다면, 이 도구는 오픈AI 사업의 핵심이 될 수 있습니다. 발표된 대로 그 독점권이 유지될지는 지켜봐야 할 일입니다. 파이낸셜 타임스(Financial Times)는 이번 주, 마이크로소프트가 아마존과의 계약이 자사와 오픈AI 간의 기존 계약을 위반한다고 주장할 가능성이 있다고 보도했다. 특히 레드몬드(마이크로소프트 본사)는 오픈AI의 모든 모델과 기술에 대한 권리를 가지고 있다고 주장할 전망이다.

오픈AI는 왜 AWS를 그토록 매력적으로 여길까? 이번 협정의 일환으로, 이 클라우드 거대 기업은 오픈AI에 2기가와트의 ‘트레이니움(Trainium)’ 컴퓨팅 용량을 공급하기로 약속했다. 앤트로픽(Anthropic)과 아마존의 자체 서비스인 ‘베드록(Bedrock)’이 이미 아마존이 생산할 수 있는 속도보다 더 빠르게 트레이니움 칩을 소비하고 있다는 점을 고려하면, 이는 엄청난 규모의 약속이다.

아마존의 트레이니움3 칩.이미지 출처:아마존

트레이니움 대 엔비디아

아마존은 엔비디아의 주문이 밀려 구하기 어려운 GPU에 대한 대안을 제공하는 것을 넘어, 자사의 특수 Trn3 UltraServer에서 구동되는 새로운 칩이 기존 클라우드 서버를 사용하는 것보다 최대 50% 저렴한 비용으로 동등한 성능을 제공한다고 밝혔습니다.

지난 12월에 출시된 트레이니움3와 함께, AWS 팀은 새로운 뉴런(Neuron) 스위치도 개발했다. 캐롤은 이러한 조합이 혁신적이라고 말한다.

“이것이 우리에게 가져다주는 것은 엄청난 것입니다,”라고 캐롤은 말했습니다. 이 스위치 덕분에 모든 Trainium3 칩이 메시(mesh) 구성에서 다른 모든 칩과 통신할 수 있게 되어 지연 시간이 줄어듭니다. “그것이 바로 Trainium3가 모든 종류의 기록을 경신하고 있는 이유입니다,” 특히 “전력당 가격” 측면에서 그렇다고 그는 덧붙였습니다.

매일 수조 개의 토큰이 처리되는 상황에서 이러한 개선 효과는 누적됩니다.

실제로 아마존의 칩 개발팀은 2024년 애플로부터 찬사를 받았습니다. 비밀주의로 유명한 애플이 이례적으로 공개적인 입장을 밝힌 자리에서, 애플의 AI 담당 이사는 애플이 이 팀의 또 다른 칩인 ‘그라비톤(Graviton)’을 어떻게 활용했는지 공개적으로 설명했습니다. 그라비톤은 저전력 ARM 기반 서버용 CPU이자, 이 팀이 설계한 최초의 획기적인 칩입니다. 애플은 또한 추론을 위해 특별히 제작된 칩인 ‘인페렌시아(Inferentia)’를 칭찬했으며, 당시에는 아직 신제품이었던 ‘트레이니움(Trainium)’에도 찬사를 보냈다.

이 칩들은 아마존의 전형적인 전략을 따르고 있습니다. 즉, 고객이 원하는 것이 무엇인지 파악한 뒤, 가격 경쟁력을 갖춘 자체 대안을 개발하는 것입니다.

역사적으로 칩 분야의 가장 큰 과제는 전환 비용이었습니다. 엔비디아(Nvidia) 칩용으로 작성된 애플리케이션은 다른 칩에서 작동하도록 아키텍처를 재설계해야 하는데, 이는 시간이 많이 소요되는 과정이라 개발자들이 전환하기를 꺼리게 만듭니다.

하지만 AWS 칩 팀은 트레니엄이 이제 AI 모델 구축에 널리 쓰이는 오픈소스 프레임워크인 파이토치(PyTorch)를 지원한다고 자랑스럽게 말했습니다. 여기에는 개발자들이 오픈소스 모델을 공유하는 방대한 라이브러리인 허깅 페이스(Hugging Face)에 호스팅된 수많은 모델도 포함됩니다.

캐롤에 따르면, 이 전환 과정은 “기본적으로 한 줄만 수정하고, 재컴파일한 뒤 Trainium에서 실행하면 된다”고 한다. 즉, 아마존은 가능한 모든 곳에서 엔비디아의 시장 지배력을 조금씩 잠식해 나가고 있는 셈이다.

또한 AWS는 이번 달 세레브라스 시스템즈(Cerebras Systems)와의 파트너십을 발표하며, 트레니엄이 구동되는 서버에 해당 회사의 추론 칩을 통합해 아마존이 약속한 대로 초고성능의 저지연 AI 성능을 제공할 것이라고 밝혔다.

하지만 아마존의 야망은 칩 그 자체를 넘어섭니다. 이 팀은 칩을 탑재할 서버도 직접 설계합니다. 네트워킹 구성 요소와 함께, 이들은 가상화(동일한 서버에서 여러 소프트웨어 인스턴스를 별도로 실행할 수 있게 함) 기능을 제공하는 하드웨어-소프트웨어 결합체인 “Nitro”, 최첨단 액체 냉각 기술, 그리고 장비를 수용하는 서버 슬레드(아래 사진 참조)를 개발했습니다.

이 모든 것은 비용과 성능을 최적화하기 위한 것입니다.

AWS 오스틴 칩 연구소 투어, 구성 요소가 장착된 슬레드.이미지 출처:TechCrunch/Julie Bort

‘브링업(bring-up)’을 위해 24시간 연중무휴로 작업 중

아마존의 맞춤형 칩 설계 부서는 2015년 1월, 이 클라우드 거대 기업이 이스라엘 칩 설계사 안나푸르나 랩스(Annapurna Labs)를 약 3억 5천만 달러에 인수하면서 출범했습니다. 따라서 이 팀은 10년 넘게 AWS용 칩을 설계해 왔습니다. 이 부서는 안나푸르나의 뿌리와 이름을 그대로 유지하고 있으며, 사무실 곳곳에 안나푸르나 로고가 눈에 띕니다.

이 칩 연구소는 오스틴의 고급 상업 지구인 ‘도메인(Domain)’ 지역에 위치한 반짝이는 크롬 창문이 돋보이는 건물에 자리 잡고 있다. 이곳은 상점과 레스토랑이 즐비한 도보로 이동하기 편한 지역으로, 때로는 ‘오스틴의 실리콘밸리’라고도 불린다.

사무실은 칸막이 책상, 휴게 공간, 회의실 등 전형적인 기술 기업의 분위기를 풍깁니다. 하지만 높은 층의 뒤편 한구석에는 도시 전경이 한눈에 내려다보이는 실제 연구실이 자리 잡고 있습니다.

선반으로 가득 찬 이 연구실은 대형 회의실 두 개 정도 크기로, 장비 팬 소리 때문에 다소 시끄러운 산업 현장 같은 분위기다. 고등학교 공작실과 할리우드 영화에 나올 법한 최첨단 연구실 세트가 혼합된 듯한 모습이지만, 엔지니어들은 흰 실험복 대신 청바지를 입고 있다는 점이 다르다.

AWS 오스틴 칩 연구소.이미지 출처:TechCrunch/Julie Bort

AWS 오스틴 칩 연구실.이미지 출처:TechCrunch/Julie Bort

이곳에서는 칩을 제조하지 않기 때문에 흰색 방호복이 필요하지 않았다는 점을 참고하시기 바랍니다. Trainium3는 3나노미터 제조 분야의 선두주자로 꼽히는 TSMC가 생산한 최첨단 3나노미터 칩이며, 다른 칩들은 Marvell에서 제작했습니다.

하지만 이곳이야말로 ‘브링업(bring-up)’이라는 마법이 펼쳐지는 공간입니다.

“실리콘 브링업이란 칩을 처음 받아보는 순간을 말하는데, 마치 하룻밤 내내 이어지는 대규모 파티와 같습니다. 마치 락인(lock-in)처럼 이곳에 머물게 됩니다.”라고 킹은 설명합니다. 18개월간의 작업 끝에 칩이 처음으로 활성화되어 설계대로 작동하는지 검증됩니다. 팀은 Trainium3 브링업 과정의 일부를 촬영하여 YouTube에 게시하기도 했습니다.

스포일러 경고: 결코 문제 없이 진행되지는 않습니다.

Trainium3의 경우, 프로토타입 칩은 이전 버전과 마찬가지로 원래 공랭식이었지만, 현재 칩은 수냉식으로 변경되어 에너지 효율이 향상되었으며, 이는 상당한 공학적 성과였습니다.

가동 과정 중, 칩이 공랭식 방열판에 부착되는 치수가 맞지 않아 칩을 작동시킬 수 없는 상황이 발생했습니다.

킹은 팀이 당황하지 않고 “즉시 그라인더를 가져와 금속을 깎아내기 시작했다”고 말했습니다. 브링업 피자 파티 분위기를 해치지 않기 위해, 팀원들은 몰래 빠져나와 회의실에서 연마 작업을 진행했습니다.

밤을 새워가며 문제를 해결하는 것이 “바로 실리콘 시동 작업의 본질”이라고 킹은 말했다.

이 연구실에는 용접 작업대도 마련되어 있었는데, 하드웨어 연구실 엔지니어이자 용접 전문가인 아이작 게바라가 현미경 아래에서 미세한 집적회로 부품을 용접하는 시연을 보여주었다. 이 작업은 너무나 어려워서 수석 리더인 캐롤이 “자신은 할 수 없다”고 솔직히 인정하자, 게바라와 방에 있던 다른 엔지니어들은 웃음을 터뜨렸다.

AWS 오스틴 칩 연구소 투어, 용접 작업대.이미지 출처:TechCrunch/Julie Bort

이 연구실에는 칩 문제를 테스트하고 분석하기 위한 맞춤형 도구와 상용 도구가 모두 갖춰져 있습니다. 다음은 신호 엔지니어 아르빈드 스리니바산이 연구실에서 칩의 각 미세 부품을 어떻게 테스트하는지 시연하는 모습입니다:

AWS 오스틴 칩 연구소 투어, 테스트 장비.이미지 출처:TechCrunch/Julie Bort

‘슬레드’가 연구소의 주인공

하지만 이 연구소의 진정한 주인공은 팀이 설계한 각 세대의 슬레드를 한 줄로 전시해 놓은 곳입니다.

AWS 오스틴 칩 연구소 투어: 슬레드 전시 벽.이미지 출처:TechCrunch/Julie Bort

슬레드는 Trainium AI 칩, Graviton CPU 칩, 그리고 지원 보드와 부품을 수용하는 트레이입니다. 이 팀이 직접 설계한 네트워킹 구성 요소와 함께 랙에 쌓아 올리면, Anthropic Claude의 성공을 이끄는 핵심 시스템이 완성됩니다.

지난 12월 AWS re:Invent 컨퍼런스에서 공개된 슬레드는 다음과 같습니다.

AWS 오스틴 칩 연구소 투어, Trainium3 슬레드.이미지 출처:TechCrunch/Julie Bort

Anthropic과 OpenAI가 입증한 기술

투어 도중 가이드들이 OpenAI와의 계약을 자랑스럽게 언급할 줄 알았습니다. 하지만 그들은 그러지 않았습니다.

이러한 침묵은 해당 거래를 둘러싼 잠재적인 법적 불확실성과 관련이 있을 수 있습니다. 하지만 제가 느낀 바로는, 현재 차기 버전인 Trainium4를 설계 중인 이 현장 엔지니어들은 아직 OpenAI와 함께 일할 기회가 별로 없었던 것 같습니다. 그들의 일상 업무는 지금까지 Anthropic과 아마존의 요구 사항에 집중되어 왔습니다.

현재 Trainium2 칩의 대부분은 세계 최대 규모의 AI 컴퓨팅 클러스터 중 하나인 ‘프로젝트 레이니어(Project Rainier)’에 배치되어 있으며, 이 클러스터는 2025년 말 50만 개의 칩을 탑재해 가동을 시작했다. 이 클러스터는 앤트로픽(Anthropic)에서 사용 중이다.

하지만 본사 사무실의 벽면 모니터에는 OpenAI가 Trainium을 어떻게 활용할지에 대한 인용문이 표시되어 있었습니다. 미묘하긴 했지만 자부심이 느껴졌습니다.

이 연구실 외에도 팀은 품질 관리 및 테스트를 위한 자체 전용 데이터 센터를 보유하고 있다. 차로 짧은 거리 떨어진 곳에 위치한 이 데이터 센터는 고객 워크로드를 처리하지 않기 때문에 AWS 데이터 센터가 아닌 코로케이션 시설에 자리 잡고 있다.

보안은 매우 엄격합니다. 건물 출입과 내부 아마존 구역 접근에 대한 엄격한 규정이 적용됩니다.

데이터 센터의 냉각 시스템 소음이 너무 커서 귀마개 착용이 필수이며, 가열된 금속의 매운 냄새가 공기를 가득 채우고 있습니다. 일반인이 머물기에는 그리 쾌적한 장소가 아닙니다.

AWS 오스틴 칩 연구소 데이터 센터에서 가동 중인 서버 옆에서 귀를 가리고 있는 저와 아론슨의 모습입니다.이미지 출처:TechCrunch / Julie Bort

이 데이터 센터에는 줄지어 늘어선 서버 랙마다 아마존의 최신 맞춤형 칩인 그라비톤(Graviton) CPU, 수냉식 트레이니움3(Trainium3), 아마존 니트로(Amazon Nitro)가 모두 통합된 슬레드가 가득 차 있으며, 이 모든 칩이 윙윙거리며 작동하고 있습니다. 엔지니어들에 따르면, 냉각액은 폐쇄형 시스템에서 순환되어 재사용되므로 환경적 영향을 줄이는 데 도움이 될 것이라고 합니다.

현재의 Trn3 UltraServer는 다음과 같은 모습입니다. 상단과 하단에 여러 개의 슬레드가 배치되어 있고, 중앙에는 뉴런(Neuron) 스위치가 있습니다. 하드웨어 개발 엔지니어 데이비드 마르티네즈-다로우(David Martinez-Darrow)가 슬레드에 대한 유지보수 작업을 수행하는 모습이 보입니다:

AWS 오스틴 칩 연구소 투어 데이터 센터.이미지 출처:TechCrunch/Julie Bort

이 팀에 대한 관심은 항상 높았지만, 최근 들어 그 주목도가 한층 더 높아졌습니다.

아마존 CEO 앤디 재시는 이 연구소를 면밀히 주시하며, 마치 자랑스러운 부모처럼 해당 제품들을 공개적으로 자랑하고 있다. 지난 12월, 그는 Trainium이 이미 AWS에 수십억 달러 규모의 사업으로 자리 잡았다고 밝히며, 이를 자신이 가장 기대하는 AWS 기술 중 하나로 꼽았다. 또한 OpenAI 협약을 발표할 때도 이 칩을 특별히 언급했다.

팀 역시 그 압박감을 느끼고 있다. 엔지니어들은 칩을 양산하여 데이터 센터에 배포할 수 있도록 문제를 해결하기 위해, 각 칩 가동(bring-up) 이벤트 전후로 3~4주 동안 24시간 내내 쉬지 않고 작업한다.

“이 칩이 실제로 작동한다는 것을 증명하기 위해 가능한 한 빨리 성과를 내는 것이 매우 중요합니다,”라고 캐롤은 말했다. “지금까지는 정말 잘 진행되고 있습니다.”

*공개 사항: 아마존은 항공권과 현지 호텔 1박 숙박비를 지원했습니다. ‘검소함’이라는 리더십 원칙에 따라, 항공석은 기내 후방의 중간 좌석이었고 객실도 소박한 편이었습니다. 테크크런치는 우버 요금 및 수하물 수수료 등 기타 여행 경비를 부담했습니다. (네, 하룻밤 여행인데도 수하물을 위탁했습니다. 저는 그런 면에서 좀 까다로운 편이거든요.)