Gemma 2는 이제 연구원, 개발자가 접근 할 수 있습니다

AI는 오늘날 우리가 직면한 가장 어려운 도전 과제를 해결할 수 있는 힘을 가지고 있습니다. 하지만 이는 모두가 AI 도구를 사용할 수 있을 때만 가능합니다. 그래서 우리는 연초에 Gemma를 소개하며 시작했습니다. Gemma는 Gemini 모델을 구동하는 동일한 기술로 제작된 가볍고 최첨단의 오픈 모델 세트입니다. 이후 우리는 CodeGemma, RecurrentGemma, PaliGemma를 통해 Gemma 제품군을 확장했으며, 각 모델은 서로 다른 AI 작업에 맞춰 설계되었고 Hugging Face, NVIDIA, Ollama와 같은 회사들과의 파트너십을 통해 쉽게 접근할 수 있습니다.

이제 우리는 연구자와 개발자를 위한 Gemma 2의 글로벌 출시를 발표하게 되어 기쁩니다. 90억(9B)과 270억(27B) 파라미터 크기로 제공되는 Gemma 2는 이전 모델에 비해 뛰어난 성능과 효율성을 제공하며, 안전성도 크게 개선되었습니다. 27B 버전은 그 크기의 두 배 이상인 모델들과 경쟁할 수 있는 강력한 성능을 자랑하며, 단일 NVIDIA H100 Tensor Core GPU 또는 TPU 호스트에서 실행 가능하여 배포 비용을 절감합니다. 높은 성능을 저렴한 비용으로 달성할 수 있게 한 것이 꽤 멋지지 않나요?

오픈 모델의 효율성과 성능을 위한 새로운 표준

우리는 Gemma 2의 아키텍처를 재설계하는 데 많은 노력을 기울여 최고 수준의 성능과 효율성을 목표로 했습니다. Gemma 2를 돋보이게 하는 특징은 다음과 같습니다:

• 탁월한 성능: 27B에서 Gemma 2는 동급 최고로, 크기가 두 배 이상인 모델들과도 경쟁합니다. 9B 버전 또한 Llama 3 8B 및 기타 동급 오픈 모델들을 능가합니다. 자세한 내용은 기술 보고서를 확인하세요.
• 비교할 수 없는 효율성과 비용 절감: 27B Gemma 2는 Google Cloud TPU 호스트, NVIDIA A100 80GB Tensor Core GPU, 또는 NVIDIA H100 Tensor Core GPU에서 풀 정밀도로 원활히 실행되며, 이는 성능 저하 없이 비용을 절감할 수 있음을 의미합니다. 이를 통해 AI 배포가 더 접근 가능하고 예산 친화적으로 이루어집니다.
• 하드웨어 전반에 걸친 빠른 추론: Gemma 2는 게이밍 노트북, 고사양 데스크톱부터 클라우드 설정까지 모든 환경에서 빠르게 실행되도록 설계되었습니다. Google AI Studio에서 풀 정밀도로 테스트하거나, CPU에서 Gemma.cpp의 양자화 버전으로 로컬 실행하거나, Hugging Face Transformers를 통해 NVIDIA RTX 또는 GeForce RTX가 탑재된 가정용 컴퓨터에서 실행할 수 있습니다.

개발자와 연구자를 위해 설계됨

Gemma 2는 단순히 더 강력한 것뿐만 아니라, 여러분의 워크플로우에 원활히 통합되도록 설계되었습니다:

• 오픈되고 접근 가능: 원래 Gemma 모델과 마찬가지로, Gemma 2는 상업적으로 친화적인 라이선스를 제공하여 개발자와 연구자가 그들의 창작물을 공유하고 수익화할 수 있도록 합니다.
• 광범위한 프레임워크 호환성: Hugging Face Transformers, JAX, PyTorch, TensorFlow를 통한 네이티브 Keras 3.0, vLLM, Gemma.cpp, Llama.cpp, Ollama와 같은 주요 AI 프레임워크와의 호환성 덕분에 Gemma 2를 선호하는 도구와 워크플로우에 쉽게 통합할 수 있습니다. 또한 NVIDIA TensorRT-LLM으로 NVIDIA 가속 인프라에 최적화되거나 NVIDIA NIM 추론 마이크로서비스로 제공되며, NVIDIA의 NeMo 최적화도 곧 제공될 예정입니다. 오늘부터 Keras와 Hugging Face로 파인튜닝을 시작할 수 있으며, 더 파라미터 효율적인 파인튜닝 옵션도 준비 중입니다.
• 손쉬운 배포: 다음 달부터 Google Cloud 고객은 Vertex AI에서 Gemma 2를 쉽게 배포하고 관리할 수 있습니다.

새로운 Gemma Cookbook에 뛰어들어 보세요. 이 cookbook은 실제 사례와 레시피로 가득 차 있어 여러분이 자신만의 애플리케이션을 구축하고 특정 작업에 맞게 Gemma 2를 파인튜닝하는 데 도움을 줍니다. 검색 증강 생성과 같은 작업을 포함하여 선호하는 도구로 Gemma를 사용하는 방법을 배워보세요.

책임 있는 AI 개발

우리는 개발자와 연구자가 AI를 책임감 있게 구축하고 배포할 수 있도록 돕는 데 전념하고 있습니다. 우리의 Responsible Generative AI Toolkit은 이러한 노력의 일환입니다. 최근 오픈소스로 공개된 LLM Comparator는 언어 모델의 상세한 평가를 돕습니다. 오늘부터 동반 Python 라이브러리를 사용해 여러분의 모델과 데이터로 비교 평가를 실행하고 앱에서 결과를 시각화할 수 있습니다. 또한 Gemma 모델을 위한 텍스트 워터마킹 기술인 SynthID를 오픈소스로 공개하는 작업도 진행 중입니다.

Gemma 2를 훈련시킬 때, 우리는 엄격한 내부 안전 프로세스를 따랐으며, 사전 훈련 데이터를 필터링하고 광범위한 메트릭에 대한 철저한 테스트와 평가를 수행하여 잠재적 편향과 위험을 식별하고 완화했습니다. 우리는 안전성과 표현적 피해와 관련된 공개 벤치마크 결과를 공유합니다.

Gemma로 구축된 프로젝트

첫 Gemma 출시는 1천만 회 이상의 다운로드를 기록하며 수많은 놀라운 프로젝트를 촉발했습니다. 예를 들어, Navarasa는 Gemma를 사용해 인도의 언어 다양성을 기념하는 모델을 개발했습니다.