GEMMA 3 de Google atteint 98% de la précision de Deepseek avec un seul GPU

L'économie de l'intelligence artificielle est devenue un objectif majeur récemment, en particulier avec la startup Deepseek IA présentant des économies d'échelle impressionnantes dans l'utilisation des puces GPU. Mais Google n'est pas sur le point d'être en reste. Mercredi, le géant de la technologie a dévoilé son dernier modèle de grande langue open source, Gemma 3, qui correspond presque à la précision du modèle R1 de Deepseek, mais utilise beaucoup moins de puissance de calcul.

Google a mesuré ces performances en utilisant les scores "ELO", un système couramment utilisé dans les échecs et les sports pour classer les concurrents. Gemma 3 a marqué un 1338, juste timide du 1363 de R1, ce qui signifie que R1 surpasse techniquement Gemma 3. Cependant, Google estime qu'il faudrait 32 des puces GPU H100 de Nvidia pour atteindre le score de R1, tandis que Gemma 3 obtient ses résultats avec un seul GPU H100. Google vante cet équilibre de calcul et de score ELO comme le "point idéal".

Dans un article de blog, Google décrit Gemma 3 comme "le modèle le plus capable que vous pouvez exécuter sur un seul GPU ou TPU", se référant à sa propre puce AI personnalisée, "l'unité de traitement du tenseur". La société affirme que Gemma 3 "offre des performances de pointe pour sa taille", des modèles de surpassement comme LLAMA-405B, Deepseek-V3 et O3-MinI dans les évaluations des préférences humaines sur le classement de Lmarena. Ces performances facilitent la création d'expériences utilisateur engageantes sur un seul GPU ou un hôte TPU.

Google

Le modèle de Google dépasse également le LLAMA 3 de Meta dans ELO Score, qui, selon Google, nécessiterait 16 GPU. Il convient de noter que ces chiffres pour les modèles concurrents sont les estimations de Google; Deepseek AI n'a divulgué qu'en utilisant 1 814 des GPU H800 moins puissants de NVIDIA pour R1.

Des informations plus approfondies peuvent être trouvées dans un article de blog de développeur sur HuggingFace, où le référentiel Gemma 3 est disponible. Conçu pour une utilisation sur les appareils plutôt que pour les centres de données, Gemma 3 a un nombre nettement plus petit de paramètres par rapport à R1 et à d'autres modèles open source. Avec des dénombrements de paramètres allant de 1 milliard à 27 milliards, Gemma 3 est assez modeste par rapport aux normes actuelles, tandis que R1 possède 671 milliards de paramètres, bien qu'il puisse utiliser sélectivement seulement 37 milliards.

La clé de l'efficacité de Gemma 3 est une technique d'IA largement utilisée appelée distillation, où les poids des modèles formés à partir d'un modèle plus grand sont transférés à un modèle plus petit, améliorant ses capacités. De plus, le modèle distillé subit trois mesures de contrôle de la qualité: l'apprentissage du renforcement de la rétroaction humaine (RLHF), l'apprentissage du renforcement de la rétroaction de la machine (RLMF) et l'apprentissage du renforcement de la rétroaction d'exécution (RLEF). Ceux-ci aident à affiner les résultats du modèle, ce qui les rend plus utiles et l'amélioration de ses capacités de mathématiques et de codage.

Le blog du développeur de Google détaille ces approches et un autre article traite des techniques d'optimisation pour le plus petit modèle de paramètres de 1 milliard, destiné aux appareils mobiles. Ceux-ci incluent la quantification, la mise à jour des dispositions de cache de valeur clé, l'amélioration des temps de chargement variables et le partage de poids GPU.

Google compare GEMMA 3 non seulement sur les scores ELO mais également à son prédécesseur, Gemma 2, et ses modèles de gemini de source fermée sur divers repères comme LivecodeBench. Alors que Gemma 3 est généralement en deçà de Gemini 1.5 et Gemini 2.0 de précision, Google note qu'il "montre des performances compétitives par rapport aux modèles Gémeaux fermés", malgré moins de paramètres.

Google

Une mise à niveau importante de Gemma 3 sur Gemma 2 est sa «fenêtre de contexte» plus longue, passant de 8 000 à 128 000 jetons. Cela permet au modèle de traiter des textes plus grands comme des articles ou des livres entiers. Gemma 3 est également multimodal, capable de gérer à la fois les entrées de texte et d'image, contrairement à son prédécesseur. De plus, il prend en charge plus de 140 langues, une amélioration considérable par rapport aux capacités en anglais uniquement de Gemma 2.

Au-delà de ces principales caractéristiques, il existe plusieurs autres aspects intéressants de Gemma 3. Un problème avec des modèles de langage importants est le potentiel de mémoriser des parties de leurs données de formation, ce qui pourrait conduire à des violations de confidentialité. Les chercheurs de Google ont testé Gemma 3 pour cela et l'ont trouvé mémorise du texte de forme longue à un rythme inférieur à ses prédécesseurs, ce qui suggère une meilleure protection de la vie privée.

Pour ceux qui s'intéressent à la Nitty-Gritty, le document technique de Gemma 3 fournit une rupture approfondie des capacités et du développement du modèle.