Gemma 2 hiện có thể truy cập được cho các nhà nghiên cứu, nhà phát triển

AI có sức mạnh để giải quyết một số thử thách khó khăn nhất mà chúng ta gặp phải ngày nay nhưng chỉ khi mọi người có thể nắm trong tay các công cụ để sử dụng nó. Đó là lý do tại sao chúng tôi đã khởi động năm bằng cách giới thiệu Gemma, một bộ các mô hình mở nhẹ, tiên tiến, được chế tạo từ cùng một công nghệ cung cấp năng lượng cho các mô hình Gemini của chúng tôi. Kể từ đó, chúng tôi đã mở rộng gia đình Gemma với Codegemma, RecurrentGemma và Paligemma, mỗi người được thiết kế cho các nhiệm vụ AI khác nhau và dễ dàng truy cập thông qua các mối quan hệ đối tác với các công ty như Hugging Face, Nvidia và Ollama.

Bây giờ, chúng tôi rất vui mừng được thông báo về việc phát hành Gemma 2 toàn cầu cho các nhà nghiên cứu và nhà phát triển. Có sẵn trong 9 tỷ (9b) và 27 tỷ (27B) kích thước tham số, Gemma 2 cung cấp hiệu suất và hiệu quả vượt trội so với người tiền nhiệm của nó, với những cải thiện an toàn đáng kể. Phiên bản 27B là một nhà máy điện, các mô hình cạnh tranh có kích thước cao hơn hai lần và nó có thể chạy trên một máy chủ GPU hoặc TPU TENDIA H100 Tenor Core hoặc TPU, chi phí triển khai giảm. Thật tuyệt khi chúng tôi có thể đạt được hiệu suất cao mà không phá vỡ ngân hàng, phải không?

Một tiêu chuẩn mới về hiệu quả và hiệu suất trong các mô hình mở

Chúng tôi đã nỗ lực rất nhiều để thiết kế lại kiến ​​trúc cho Gemma 2, nhằm mục đích hiệu suất và hiệu quả hàng đầu. Đây là những gì làm cho nó khác biệt:

• Hiệu suất ngoại cỡ: Ở 27B, Gemma 2 là con chó hàng đầu trong lớp, thậm chí cạnh tranh với các mô hình hơn gấp đôi kích thước của nó. Phiên bản 9B cũng tỏa sáng, vượt trội so với Llama 3 8B và các mô hình mở khác trong danh mục của nó. Đối với tất cả các chi tiết ngon ngọt, hãy xem báo cáo kỹ thuật.
• Hiệu quả và tiết kiệm chi phí chưa từng có: Gemma 2 27b chạy trơn tru với độ chính xác đầy đủ trên một máy chủ Google Cloud TPU, GPU Tenor Tenor GPU NVIDIA A100 80GB hoặc GPU lõi tenor của NVIDIA H100, có nghĩa là bạn có thể giảm chi phí mà không cần giảm hiệu suất. Điều này làm cho việc triển khai AI dễ tiếp cận và thân thiện với ngân sách hơn.
• Tranh luận nhanh chóng trên phần cứng: Gemma 2 được thiết kế để chạy nhanh chóng trên mọi thứ, từ máy tính xách tay chơi game và máy tính để bàn cao cấp đến thiết lập đám mây. Bạn có thể kiểm tra nó ở mức độ chính xác đầy đủ trong Google AI Studio, chạy nó cục bộ với phiên bản được định lượng trên Gemma.cpp trên CPU của bạn hoặc thử nó trên máy tính gia đình của bạn với NVIDIA RTX hoặc GEFORCE RTX thông qua Hug Face Transformers.