Gemma 2 jetzt für Forscher, Entwickler, zugänglich

KI hat die Kraft, einige der schwierigsten Herausforderungen zu bewältigen, mit denen wir heute konfrontiert sind – aber nur, wenn jeder Zugang zu den Werkzeugen hat, um sie zu nutzen. Deshalb haben wir das Jahr mit der Einführung von Gemma begonnen, einer Reihe von leichten, hochmodernen offenen Modellen, die mit derselben Technologie entwickelt wurden, die unsere Gemini-Modelle antreibt. Seitdem haben wir die Gemma-Familie mit CodeGemma, RecurrentGemma und PaliGemma erweitert, die jeweils für verschiedene KI-Aufgaben zugeschnitten sind und durch Partnerschaften mit Unternehmen wie Hugging Face, NVIDIA und Ollama leicht zugänglich sind.

Nun freuen wir uns, die weltweite Veröffentlichung von Gemma 2 für Forscher und Entwickler anzukündigen. Erhältlich in Größen mit 9 Milliarden (9B) und 27 Milliarden (27B) Parametern bietet Gemma 2 im Vergleich zu seinem Vorgänger überlegene Leistung und Effizienz, mit erheblichen Sicherheitsverbesserungen. Die 27B-Version ist ein Kraftpaket, das mit Modellen konkurriert, die mehr als doppelt so groß sind, und es kann auf einer einzigen NVIDIA H100 Tensor Core GPU oder TPU-Host ausgeführt werden, wodurch die Bereitstellungskosten gesenkt werden. Es ist ziemlich cool, wie wir hohe Leistung erreicht haben, ohne das Budget zu sprengen, oder?

Ein neuer Standard für Effizienz und Leistung in offenen Modellen

Wir haben viel Aufwand in die Neugestaltung der Architektur für Gemma 2 gesteckt, mit dem Ziel, erstklassige Leistung und Effizienz zu erreichen. Hier ist, was es auszeichnet:

• Überragende Leistung: Mit 27B ist Gemma 2 führend in seiner Klasse und konkurriert sogar mit Modellen, die mehr als doppelt so groß sind. Die 9B-Version glänzt ebenfalls und übertrifft Llama 3 8B und andere offene Modelle in ihrer Kategorie. Alle spannenden Details finden Sie im technischen Bericht.
• Unübertroffene Effizienz und Kosteneinsparungen: Die 27B Gemma 2 läuft reibungslos mit voller Präzision auf einem einzigen Google Cloud TPU-Host, einer NVIDIA A100 80GB Tensor Core GPU oder einer NVIDIA H100 Tensor Core GPU, was bedeutet, dass Sie die Kosten niedrig halten können, ohne die Leistung zu beeinträchtigen. Dies macht KI-Bereitstellungen zugänglicher und budgetfreundlicher.
• Blitzschnelle Inferenz auf verschiedener Hardware: Gemma 2 ist so konzipiert, dass es schnell auf allem läuft, von Gaming-Laptops und High-End-Desktops bis hin zu Cloud-Konfigurationen. Sie können es mit voller Präzision in Google AI Studio testen, lokal mit der quantisierten Version auf Gemma.cpp auf Ihrer CPU ausführen oder es auf Ihrem Heimcomputer mit einer NVIDIA RTX oder GeForce RTX über Hugging Face Transformers ausprobieren.

Für Entwickler und Forscher entwickelt

Gemma 2 ist nicht nur leistungsstärker; es ist auch so konzipiert, dass es sich nahtlos in Ihre Arbeitsabläufe einfügt:

• Offen und zugänglich: Wie die ursprünglichen Gemma-Modelle kommt Gemma 2 mit einer kommerziell freundlichen Lizenz, die es Entwicklern und Forschern ermöglicht, ihre Kreationen zu teilen und zu monetarisieren.
• Breite Framework-Kompatibilität: Sie können Gemma 2 problemlos mit Ihren bevorzugten Tools und Arbeitsabläufen integrieren, dank seiner Kompatibilität mit wichtigen KI-Frameworks wie Hugging Face Transformers sowie JAX, PyTorch und TensorFlow über native Keras 3.0, vLLM, Gemma.cpp, Llama.cpp und Ollama. Es ist auch optimiert mit NVIDIA TensorRT-LLM für NVIDIA-beschleunigte Infrastruktur oder als NVIDIA NIM Inferenz-Mikrodienst, mit Optimierung für NVIDIA’s NeMo in Aussicht. Sie können heute mit Keras und Hugging Face mit dem Feintuning beginnen, und wir arbeiten an weiteren parameter-effizienten Feintuning-Optionen.
• Mühelose Bereitstellung: Ab nächsten Monat können Google Cloud-Kunden Gemma 2 auf Vertex AI einfach bereitstellen und verwalten.

Tauchen Sie ein in das neue Gemma Cookbook, vollgepackt mit praktischen Beispielen und Rezepten, die Ihnen helfen, Ihre eigenen Anwendungen zu erstellen und Gemma 2 für spezifische Aufgaben zu optimieren. Lernen Sie, wie Sie Gemma mit Ihren bevorzugten Tools verwenden können, einschließlich für Aufgaben wie Retrieval-Augmented Generation.

Verantwortungsvolle KI-Entwicklung

Wir sind entschlossen, Entwicklern und Forschern zu helfen, KI verantwortungsvoll zu entwickeln und bereitzustellen. Unser Responsible Generative AI Toolkit ist Teil dieses Bestrebens. Der kürzlich als Open Source freigegebene LLM Comparator unterstützt bei detaillierten Bewertungen von Sprachmodellen. Ab heute können Sie die begleitende Python-Bibliothek verwenden, um vergleichende Bewertungen mit Ihrem Modell und Ihren Daten durchzuführen und die Ergebnisse in der App zu visualisieren. Wir arbeiten auch daran, unsere Text-Wasserzeichen-Technologie SynthID für Gemma-Modelle als Open Source freizugeben.

Beim Training von Gemma 2 haben wir unsere strengen internen Sicherheitsprozesse befolgt, die Trainingsdaten vorab gefiltert und umfassende Tests und Bewertungen anhand einer Vielzahl von Metriken durchgeführt, um potenzielle Vorurteile und Risiken zu identifizieren und zu mindern. Wir teilen unsere Ergebnisse zu öffentlichen Benchmarks in Bezug auf Sicherheit und repräsentative Schäden.

Mit Gemma gebaute Projekte

Unser erster Gemma-Start löste über 10 Millionen Downloads und zahlreiche erstaunliche Projekte aus. Zum Beispiel nutzte Navarasa Gemma, um ein Modell zu entwickeln, das die sprachliche Vielfalt Indiens feiert.