Gemma 2 ahora accesible para investigadores, desarrolladores

La IA tiene el poder de abordar algunos de los desafíos más difíciles que enfrentamos hoy, pero eso solo es posible si todos pueden acceder a las herramientas para usarla. Por eso comenzamos el año presentando Gemma, un conjunto de modelos abiertos ligeros y de vanguardia, creados con la misma tecnología que impulsa nuestros modelos Gemini. Desde entonces, hemos ampliado la familia Gemma con CodeGemma, RecurrentGemma y PaliGemma, cada uno adaptado para diferentes tareas de IA y fácilmente accesible a través de asociaciones con empresas como Hugging Face, NVIDIA y Ollama.

Ahora, estamos emocionados de anunciar el lanzamiento global de Gemma 2 para investigadores y desarrolladores. Disponible en tamaños de 9 mil millones (9B) y 27 mil millones (27B) de parámetros, Gemma 2 ofrece un rendimiento y eficiencia superiores en comparación con su predecesor, con mejoras significativas en seguridad. La versión de 27B es una potencia, compitiendo con modelos que son más del doble de su tamaño, y puede ejecutarse en una sola GPU NVIDIA H100 Tensor Core o un host TPU, reduciendo los costos de implementación. Es bastante genial cómo hemos logrado un alto rendimiento sin arruinar el presupuesto, ¿verdad?

Un nuevo estándar de eficiencia y rendimiento en modelos abiertos

Hemos puesto mucho esfuerzo en rediseñar la arquitectura de Gemma 2, buscando un rendimiento y eficiencia de primera categoría. Esto es lo que lo distingue:

• Rendimiento sobresaliente: Con 27B, Gemma 2 es el líder en su clase, incluso compitiendo con modelos más del doble de su tamaño. La versión de 9B también destaca, superando a Llama 3 8B y otros modelos abiertos en su categoría. Para todos los detalles jugosos, consulta el informe técnico.
• Eficiencia y ahorro de costos inigualables: El Gemma 2 de 27B funciona sin problemas con precisión completa en un solo host TPU de Google Cloud, GPU NVIDIA A100 80GB Tensor Core o GPU NVIDIA H100 Tensor Core, lo que significa que puedes mantener los costos bajos sin sacrificar el rendimiento. Esto hace que las implementaciones de IA sean más accesibles y económicas.
• Inferencia ultrarrápida en diversos hardware: Gemma 2 está diseñado para ejecutarse rápidamente en todo, desde laptops para juegos y escritorios de alta gama hasta configuraciones en la nube. Puedes probarlo con precisión completa en Google AI Studio, ejecutarlo localmente con la versión cuantizada en Gemma.cpp en tu CPU, o probarlo en tu computadora personal con una NVIDIA RTX o GeForce RTX a través de Hugging Face Transformers.

Construido para desarrolladores e investigadores

Gemma 2 no solo es más poderoso; también está diseñado para integrarse perfectamente en tus flujos de trabajo:

• Abierto y accesible: Como los modelos Gemma originales, Gemma 2 viene con una licencia amigable para el uso comercial, lo que permite a los desarrolladores e investigadores compartir y monetizar sus creaciones.
• Amplia compatibilidad con frameworks: Puedes integrar fácilmente Gemma 2 con tus herramientas y flujos de trabajo favoritos, gracias a su compatibilidad con los principales frameworks de IA como Hugging Face Transformers, y JAX, PyTorch y TensorFlow a través de Keras 3.0 nativo, vLLM, Gemma.cpp, Llama.cpp y Ollama. También está optimizado con NVIDIA TensorRT-LLM para infraestructura acelerada por NVIDIA o como un microservicio de inferencia NVIDIA NIM, con optimización para NVIDIA NeMo en el horizonte. Puedes comenzar a realizar ajustes hoy con Keras y Hugging Face, y estamos trabajando en opciones de ajuste fino más eficientes en parámetros.
• Implementación sin esfuerzo: A partir del próximo mes, los clientes de Google Cloud podrán implementar y gestionar fácilmente Gemma 2 en Vertex AI.

Sumérgete en el nuevo Gemma Cookbook, lleno de ejemplos prácticos y recetas para ayudarte a construir tus propias aplicaciones y ajustar Gemma 2 para tareas específicas. Aprende cómo usar Gemma con tus herramientas preferidas, incluyendo para tareas como la generación aumentada por recuperación.

Desarrollo responsable de IA

Estamos comprometidos a ayudar a los desarrolladores e investigadores a construir y desplegar IA de manera responsable. Nuestro Responsible Generative AI Toolkit es parte de este esfuerzo. El recientemente abierto LLM Comparator ayuda con evaluaciones detalladas de modelos de lenguaje. A partir de hoy, puedes usar la biblioteca de Python complementaria para realizar evaluaciones comparativas con tu modelo y datos, y visualizar los resultados en la aplicación. También estamos trabajando en abrir el código de nuestra tecnología de marcado de agua de texto, SynthID, para los modelos Gemma.

Al entrenar Gemma 2, seguimos nuestros rigurosos procesos internos de seguridad, filtrando datos de pre-entrenamiento y realizando pruebas y evaluaciones exhaustivas contra una amplia gama de métricas para identificar y mitigar posibles sesgos y riesgos. Compartimos nuestros resultados en benchmarks públicos relacionados con la seguridad y los daños representacionales.

Proyectos construidos con Gemma

Nuestro primer lanzamiento de Gemma generó más de 10 millones de descargas y muchos proyectos increíbles. Por ejemplo, Navarasa usó Gemma para desarrollar un modelo que celebra la diversidad lingüística de la India.