Les chercheurs développent un rival open source au modèle de «raisonnement» de 50 $ d'Openai pour moins de 50 $

Vendredi dernier, un document de recherche révolutionnaire des experts de l'IA à Stanford et de l'Université de Washington est entré en scène, révélant qu'ils ont réussi à développer un modèle de "raisonnement" de l'IA, surnommé S1, pour moins de 50 $ en crédits de calcul cloud. Cette révélation ébranle le monde de l'IA, car S1 se tient contre des modèles de haut niveau comme l'O1 d'Openai et le R1 de Deepseek lorsqu'il s'agit de relever les mathématiques et de coder les défis.

Le modèle S1, ainsi que tous les détails juteux de ses données de formation et de son code, est maintenant à gagner sur GitHub. L'équipe a lancé les choses avec un modèle de base banal et l'a ensuite mis à l'essoreuse avec une technique appelée distillation. Ce processus consiste à supprimer le jus de "raisonnement" d'un autre modèle d'IA en s'entraînant sur ses réponses. Dans ce cas, S1 a obtenu son intelligence du modèle expérimental Gemini 2.0 Flash Thinking de Google. C'est une tactique similaire à ce que les chercheurs de Berkeley ont utilisé pour préparer leur propre modèle de raisonnement en IA pour environ 450 $ le mois dernier.

Pour certains, l'idée qu'une petite équipe de chercheurs peut encore faire des vagues dans le domaine de l'IA sans budget massif est passionnant. Mais l'émergence de S1 déclenche également de sérieuses questions sur l'avenir du développement du modèle d'IA. Si un modèle qui rivalise avec ceux construits avec des millions peut être reproduit avec un budget de buté, qu'est-ce qui empêche tout le monde de faire de même?

Sans surprise, les grands acteurs de l'IA ne sont pas ravis. OpenAI, par exemple, a pointé des doigts sur Deepseek, les accusant d'utiliser leurs données API pour alimenter la distillation du modèle. Pendant ce temps, l'équipe S1 s'est concentrée sur la recherche du moyen le plus simple d'atteindre des performances de raisonnement solides et quelque chose appelé «mise à l'échelle du temps de test», où un modèle d'IA a plus de temps à réfléchir avant de répondre. Ce sont les mêmes innovations que le modèle O1 d'Openai a apportée à la table, que d'autres comme Deepseek ont ​​essayé d'imiter avec leurs propres méthodes.

Le papier S1 suggère que vous pouvez distiller les modèles de raisonnement avec un ensemble de données relativement petit en utilisant une technique connue sous le nom de réglage fin supervisé (SFT). Cela implique de former le modèle d'IA pour copier des comportements spécifiques à partir d'un ensemble de données, et il est moins cher que l'apprentissage de renforcement à grande échelle que Deepseek a utilisé pour leur modèle R1, qui rivalise avec l'O1 d'OpenAI.

Google rend Gemini 2.0 Flash Thinking Experimental disponible gratuitement via sa plate-forme Google AI Studio, mais avec des limites quotidiennes. Mais il y a un hic - les termes de Google ne permettent pas à l'ingénierie inverse de ses modèles pour créer des services concurrents. Nous attendons de revoir Google à ce sujet.

Le modèle S1 lui-même a commencé la vie comme un modèle AI modeste et standard du laboratoire Qwen d'Alibaba, que n'importe qui peut télécharger gratuitement. Pour former S1, les chercheurs ont mis en place un ensemble de données de seulement 1 000 questions soigneusement choisies, ainsi que des réponses et le processus de "pensée" derrière chacun, gracieuseté de Google's Gemini 2.0. L'ensemble du processus de formation a pris moins de 30 minutes sur 16 GPU NVIDIA H100. Selon Niklas Muennighoff, un chercheur de Stanford impliqué dans le projet, vous pourriez réussir aujourd'hui pour environ 20 $ en coûts de calcul.

Les chercheurs ont également tiré une décision intelligente pour faire en sorte que le S1 vérifie son travail et prolonge son temps de "pensée" - ils lui ont simplement dit "d'attendre". L'ajout de ce mot pendant le processus de raisonnement de S1 l'a aidé à trouver des réponses légèrement plus précises, selon le document.

En 2025, des géants de la technologie comme Meta, Google et Microsoft devraient verser des centaines de milliards dans l'infrastructure d'IA, dont une grande partie ira à former la prochaine vague de modèles d'IA. Bien que la distillation se révèle être un moyen efficace de recréer des capacités d'IA à bon marché, cela ne mènera pas à la création de nouveaux modèles d'IA révolutionnaires et révolutionnaires de sitôt.