Gemma 3 de Google logra el 98% de la precisión de Deepseek con solo una GPU

La economía de la inteligencia artificial se ha convertido en un enfoque importante recientemente, especialmente con la startup Deepseek Ai que muestra una impresionante economías de escala en el uso de chips de GPU. Pero Google no está a punto de ser superado. El miércoles, el gigante tecnológico dio a conocer su último modelo de lenguaje grande de código abierto, Gemma 3, que casi coincide con la precisión del modelo R1 de Deepseek, pero utiliza significativamente menos potencia informática.

Google midió este rendimiento utilizando puntajes "ELO", un sistema comúnmente utilizado en ajedrez y deportes para clasificar a los competidores. Gemma 3 obtuvo un 1338, apenas menos del 1363 de R1, lo que significa que R1 supera técnicamente a Gemma 3. Sin embargo, Google estima que tomaría 32 de los chips de GPU H100 de NVIDIA para alcanzar la puntuación de R1, mientras que Gemma 3 logra sus resultados con solo una GPU H100. Google promociona este equilibrio de puntuación de cómputo y elo como el "punto óptimo".

En una publicación de blog, Google describe a Gemma 3 como "el modelo más capaz que puede ejecutar en una sola GPU o TPU", refiriéndose a su propio chip AI personalizado, la "Unidad de procesamiento de tensor". La compañía afirma que Gemma 3 "ofrece un rendimiento de última generación para su tamaño", eclipsando modelos como Llama-405B, Deepseek-V3 y O3-Mini en evaluaciones de preferencias humanas en la tabla de clasificación de Lmarena. Este rendimiento hace que sea más fácil crear experiencias atractivas para el usuario en un solo host GPU o TPU.

Google

El modelo de Google también supera a Meta's Llama 3 en el puntaje ELO, que Google estima que requeriría 16 GPU. Vale la pena señalar que estas cifras para modelos competitivos son las estimaciones de Google; Deepseek AI solo ha revelado el uso de 1.814 de las GPU H800 menos potentes de NVIDIA para R1.

Se puede encontrar más información en profundidad en una publicación de blog de desarrolladores sobre Huggingface, donde está disponible el repositorio de Gemma 3. Diseñado para el uso en el dispositivo en lugar de los centros de datos, Gemma 3 tiene un número significativamente menor de parámetros en comparación con R1 y otros modelos de código abierto. Con recuentos de parámetros que van desde 1 mil millones a 27 mil millones, Gemma 3 es bastante modesto para los estándares actuales, mientras que R1 cuenta con un fuerte parámetros de 671 mil millones, aunque puede usar selectivamente solo 37 mil millones.

La clave de la eficiencia de Gemma 3 es una técnica de IA ampliamente utilizada llamada destilación, donde los pesos de modelo entrenados de un modelo más grande se transfieren a uno más pequeño, lo que mejora sus capacidades. Además, el modelo destilado sufre tres medidas de control de calidad: el aprendizaje de refuerzo de la retroalimentación humana (RLHF), el aprendizaje de refuerzo de la retroalimentación de la máquina (RLMF) y el aprendizaje de refuerzo de la retroalimentación de ejecución (RLEF). Estos ayudan a refinar los resultados del modelo, haciéndolos más útiles y mejorando sus habilidades de matemáticas y codificación.

El blog de desarrolladores de Google detalla estos enfoques, y otra publicación discute las técnicas de optimización para el modelo de parámetros de 1 mil millones más pequeños, dirigido a dispositivos móviles. Estos incluyen cuantización, actualización de diseños de caché de valor clave, mejora de los tiempos de carga variable y el intercambio de peso de GPU.

Google compara Gemma 3 no solo en los puntajes ELO sino también con su predecesor, Gemma 2, y sus modelos Gemini de código cerrado en varios puntos de referencia como LivecodeBench. Mientras que Gemma 3 generalmente no alcanza Gemini 1.5 y Gemini 2.0 en precisión, Google señala que "muestra un rendimiento competitivo en comparación con los modelos Gemini cerrados", a pesar de tener menos parámetros.

Google

Una actualización significativa en Gemma 3 sobre Gemma 2 es su más larga "ventana de contexto", que se expande de 8,000 a 128,000 tokens. Esto permite que el modelo procese textos más grandes como documentos o libros completos. Gemma 3 también es multimodal, capaz de manejar las entradas de texto e imágenes, a diferencia de su predecesor. Además, admite más de 140 idiomas, una gran mejora sobre las capacidades solo en inglés de Gemma 2.

Más allá de estas características principales, hay varios otros aspectos interesantes para Gemma 3. Un problema con los modelos de idiomas grandes es el potencial para memorizar partes de sus datos de capacitación, lo que podría conducir a violaciones de la privacidad. Los investigadores de Google probaron Gemma 3 para esto y descubrieron que memoriza el texto de forma larga a una tasa más baja que sus predecesores, lo que sugiere una mejor protección de la privacidad.

Para aquellos interesados ​​en la esgalabotra, el documento técnico de Gemma 3 proporciona un desglose exhaustivo de las capacidades y el desarrollo del modelo.