Gemma 3 de Google logra el 98% de la precisión de Deepseek con solo una GPU

La economía de la inteligencia artificial se ha convertido recientemente en un enfoque principal, especialmente con la startup DeepSeek AI mostrando impresionantes economías de escala en el uso de chips GPU. Pero Google no se quedará atrás. El miércoles, el gigante tecnológico presentó su último modelo de lenguaje de gran escala de código abierto, Gemma 3, que casi iguala la precisión del modelo R1 de DeepSeek, pero usa significativamente menos poder de cómputo.

Google midió este rendimiento usando puntajes "Elo", un sistema comúnmente utilizado en ajedrez y deportes para clasificar competidores. Gemma 3 obtuvo un 1338, justo por debajo del 1363 de R1, lo que significa que R1 técnicamente supera a Gemma 3. Sin embargo, Google estima que se necesitarían 32 chips GPU H100 de Nvidia para alcanzar el puntaje de R1, mientras que Gemma 3 logra sus resultados con solo un H100 GPU. Google destaca este equilibrio entre cómputo y puntaje Elo como el "punto ideal".

En una publicación de blog, Google describe a Gemma 3 como "el modelo más capaz que puedes ejecutar en un solo GPU o TPU," refiriéndose a su propio chip de IA personalizado, la "unidad de procesamiento de tensores". La compañía afirma que Gemma 3 "ofrece un rendimiento de vanguardia para su tamaño", superando a modelos como Llama-405B, DeepSeek-V3 y o3-mini en evaluaciones de preferencia humana en la tabla de clasificación de LMArena. Este rendimiento facilita la creación de experiencias de usuario atractivas en un solo host GPU o TPU.

Google

El modelo de Google también supera a Llama 3 de Meta en puntaje Elo, que Google estima requeriría 16 GPUs. Cabe destacar que estas cifras para modelos competidores son estimaciones de Google; DeepSeek AI solo ha revelado usar 1,814 de los GPUs H800 menos potentes de Nvidia para R1.

Más información detallada se puede encontrar en una publicación de blog para desarrolladores en HuggingFace, donde está disponible el repositorio de Gemma 3. Diseñado para uso en dispositivos en lugar de centros de datos, Gemma 3 tiene un número significativamente menor de parámetros en comparación con R1 y otros modelos de código abierto. Con un conteo de parámetros que varía de 1 mil millones a 27 mil millones, Gemma 3 es bastante modesto según los estándares actuales, mientras que R1 presume de unos robustos 671 mil millones de parámetros, aunque puede usar selectivamente solo 37 mil millones.

La clave de la eficiencia de Gemma 3 es una técnica de IA ampliamente utilizada llamada destilación, donde los pesos de un modelo entrenado de uno más grande se transfieren a uno más pequeño, mejorando sus capacidades. Además, el modelo destilado pasa por tres medidas de control de calidad: Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF), Aprendizaje por Refuerzo con Retroalimentación de Máquina (RLMF) y Aprendizaje por Refuerzo con Retroalimentación de Ejecución (RLEF). Estas ayudan a refinar las salidas del modelo, haciéndolas más útiles y mejorando sus habilidades en matemáticas y codificación.

El blog para desarrolladores de Google detalla estos enfoques, y otra publicación discute técnicas de optimización para el modelo de 1 mil millones de parámetros más pequeño, dirigido a dispositivos móviles. Estas incluyen cuantización, actualización de diseños de caché de clave-valor, mejora de tiempos de carga de variables y compartición de pesos de GPU.

Google compara Gemma 3 no solo en puntajes Elo sino también contra su predecesor, Gemma 2, y sus modelos de código cerrado Gemini en varios puntos de referencia como LiveCodeBench. Aunque Gemma 3 generalmente queda por debajo de Gemini 1.5 y Gemini 2.0 en precisión, Google señala que "muestra un rendimiento competitivo en comparación con los modelos Gemini de código cerrado", a pesar de tener menos parámetros.

Google

Una mejora significativa en Gemma 3 sobre Gemma 2 es su "ventana de contexto" más larga, expandiéndose de 8,000 a 128,000 tokens. Esto permite al modelo procesar textos más grandes como documentos completos o libros. Gemma 3 también es multimodal, capaz de manejar entradas de texto e imágenes, a diferencia de su predecesor. Además, soporta más de 140 idiomas, una gran mejora sobre las capacidades exclusivamente en inglés de Gemma 2.

Más allá de estas características principales, hay varios otros aspectos interesantes de Gemma 3. Un problema con los modelos de lenguaje grandes es el potencial de memorizar partes de sus datos de entrenamiento, lo que podría llevar a violaciones de privacidad. Los investigadores de Google probaron Gemma 3 para esto y encontraron que memoriza texto de forma larga a una tasa menor que sus predecesores, sugiriendo una mejor protección de la privacidad.

Para aquellos interesados en los detalles técnicos, el documento técnico de Gemma 3 proporciona un desglose exhaustivo de las capacidades y el desarrollo del modelo.