Google의 Gemma 3은 단 하나의 GPU로 DeepSeek 정확도의 98%를 달성합니다.

인공지능의 경제학이 최근 주요 초점이 되었으며, 특히 스타트업 DeepSeek AI가 GPU 칩 사용에서 인상적인 규모의 경제를 보여주고 있습니다. 하지만 Google도 뒤처지지 않습니다. 수요일, 이 테크 거인은 최신 오픈소스 대형 언어 모델 Gemma 3를 공개했는데, 이는 DeepSeek의 R1 모델의 정확도에 거의 근접하면서도 훨씬 적은 컴퓨팅 파워를 사용합니다.

Google은 이 성능을 체스와 스포츠에서 경쟁자를 순위 매기는 데 흔히 사용되는 "Elo" 점수 시스템을 통해 측정했습니다. Gemma 3는 1338점을 기록해 R1의 1363점에 약간 못 미쳤으며, 이는 R1이 기술적으로 Gemma 3를 능가한다는 의미입니다. 그러나 Google은 R1의 점수에 도달하려면 Nvidia의 H100 GPU 칩 32개가 필요하지만, Gemma 3는 단 하나의 H100 GPU로 결과를 달성한다고 추정합니다. Google은 컴퓨팅과 Elo 점수의 이 균형을 "최적의 지점"이라고 내세웁니다.

블로그 포스트에서 Google은 Gemma 3를 "단일 GPU 또는 TPU에서 실행할 수 있는 가장 유능한 모델"이라고 묘사하며, 이는 Google의 자체 AI 칩인 "텐서 프로세싱 유닛"을 언급한 것입니다. 회사는 Gemma 3가 "그 크기에 비해 최첨단 성능을 제공한다"고 주장하며, LMArena 리더보드의 인간 선호도 평가에서 Llama-405B, DeepSeek-V3, o3-mini 같은 모델을 능가합니다. 이 성능은 단일 GPU 또는 TPU 호스트에서 매력적인 사용자 경험을 더 쉽게 만들 수 있게 합니다.

Google

Google의 모델은 또한 Meta의 Llama 3를 Elo 점수에서 능가하며, Google은 이를 위해 16개의 GPU가 필요할 것이라고 추정합니다. 경쟁 모델에 대한 이러한 수치는 Google의 추정치이며, DeepSeek AI는 R1에 대해 Nvidia의 덜 강력한 H800 GPU 1,814개를 사용했다고만 밝혔습니다.

더 자세한 정보는 HuggingFace의 개발자 블로그 포스트에서 확인할 수 있으며, 여기서 Gemma 3 저장소가 제공됩니다. 데이터 센터가 아닌 온디바이스 사용을 위해 설계된 Gemma 3는 R1 및 다른 오픈소스 모델에 비해 훨씬 적은 파라미터 수를 가집니다. 파라미터 수는 10억에서 270억 개로, 현재 기준으로는 상당히 적은 편이며, R1은 6,710억 개의 파라미터를 자랑하지만 선택적으로 370억 개만 사용할 수 있습니다.

Gemma 3의 효율성의 핵심은 널리 사용되는 AI 기술인 증류(distillation)로, 큰 모델에서 훈련된 모델 가중치를 작은 모델로 전이해 그 능력을 향상시킵니다. 또한, 증류된 모델은 세 가지 품질 관리 조치를 거칩니다: 인간 피드백 기반 강화 학습(RLHF), 기계 피드백 기반 강화 학습(RLMF), 실행 피드백 기반 강화 학습(RLEF). 이는 모델 출력의 정교화를 돕고, 더 유용하며 수학 및 코딩 능력을 향상시킵니다.

Google의 개발자 블로그는 이러한 접근 방식을 자세히 설명하며, 또 다른 포스트는 모바일 디바이스를 위한 가장 작은 10억 파라미터 모델의 최적화 기술을 다룹니다. 여기에는 양자화, 키-값 캐시 레이아웃 업데이트, 변수 로딩 시간 개선, GPU 가중치 공유 등이 포함됩니다.

Google은 Gemma 3를 Elo 점수뿐만 아니라 LiveCodeBench 같은 다양한 벤치마크에서 이전 모델인 Gemma 2 및 비공개 Gemini 모델과 비교합니다. Gemma 3는 일반적으로 Gemini 1.5 및 Gemini 2.0의 정확도에 미치지 못하지만, Google은 파라미터 수가 적음에도 불구하고 "비공개 Gemini 모델과 비교해 경쟁력 있는 성능을 보인다"고 언급합니다.

Google

Gemma 2에 비해 Gemma 3의 중요한 업그레이드는 "컨텍스트 윈도우"가 8,000에서 128,000 토큰으로 확장된 것입니다. 이는 모델이 전체 논문이나 책과 같은 큰 텍스트를 처리할 수 있게 합니다. Gemma 3는 또한 텍스트와 이미지 입력을 모두 처리할 수 있는 멀티모달 모델로, 이전 모델과 달리 140개 이상의 언어를 지원하며, Gemma 2의 영어 전용 기능에 비해 크게 개선되었습니다.

이 주요 기능 외에도 Gemma 3에는 몇 가지 흥미로운 측면이 있습니다. 대형 언어 모델의 문제 중 하나는 훈련 데이터의 일부를 기억할 가능성이 있어 개인정보 침해로 이어질 수 있다는 점입니다. Google의 연구자들은 Gemma 3를 테스트한 결과, 이전 모델보다 긴 텍스트를 기억하는 비율이 낮아 개인정보 보호가 개선되었음을 시사합니다.

자세한 내용을 원하는 이들을 위해 Gemma 3 기술 논문은 모델의 능력과 개발에 대한 철저한 분석을 제공합니다.