Исследователи разрабатывают конкурент с открытым исходным кодом для модели «Рассуждение на 50 долларов» за менее чем 50 долларов США.

В прошлую пятницу, новаторский исследовательский документ от экспертов по искусственному искусству в Стэнфорде и Университета Вашингтона, выступившего на сцене, показав, что им удалось разработать модель «Рассуждения искусственного интеллекта», получившую название S1, за более чем 50 долларов в облачных вычислениях. Это откровение встряхивает мир ИИ, так как S1 выдерживает свои собственные модели высшего уровня, такие как Operai's O1 и Deepseek's R1, когда речь заходит о решении задач по математике и кодированию.

Модель S1, наряду со всеми сочными деталями его обучающих данных и кода, теперь готовится к захвату GitHub. Команда начала все с заурядной базовой модели, а затем поставила ее через технику, называемую дистилляцией. Этот процесс включает в себя вытягивание «рассуждения» сока из другой модели искусственного интеллекта путем обучения ее ответам. В этом случае S1 получил свои умные из экспериментальной модели Google Gemini 2.0 Flash Flash. Это аналогичная тактика с тем, что исследователи Беркли использовали, чтобы подготовить свою собственную модель рассуждения искусственного интеллекта примерно за 450 долларов только в прошлом месяце.

Для некоторых идея о том, что небольшая команда исследователей все еще может волноваться в области искусственного интеллекта без масштабного бюджета, является захватывающей. Но появление S1 также вызывает некоторые серьезные вопросы о будущем разработки модели искусственного искусства. Если модель, которая соперничает с теми, кто построен с миллионами, может быть воспроизведена по ограниченному бюджету, что может помешать всем делать то же самое?

Неудивительно, что крупные игроки в ИИ не взволнованы. Например, OpenAI застегнул пальцы на DeepSeek, обвинив их в использовании своих данных API для топлива модели дистилляции. Между тем, команда S1 была сосредоточена на поиске наиболее простых способов достижения надежных рассуждений и чего-то, что называется «масштабирование времени испытания», где модель искусственного интеллекта получает больше времени, чтобы подумать, прежде чем отвечать. Это те же инновации, что и модель Operai O1, которую принесли на стол, которые, как другие, такие как DeepSeek, пытались имитировать своими собственными методами.

Бумага S1 предполагает, что вы можете переоборудовать модели рассуждений с относительно небольшим набором данных, используя метод, известный как контролируемая точная настраиваемая (SFT). Это включает в себя обучение модели ИИ для копирования конкретного поведения из набора данных, и она дешевле, чем широкомасштабное обучение подкреплению, которое DeepSeek использовала для их модели R1, которая конкурирует с O1 OpenAI.

Google предоставляет Gemini 2.0 Flash Shlash Experimental Experimental бесплатно через свою платформу Google AI Studio, хотя и с ежедневными ограничениями. Но есть улов-термины Google не позволяют обратно инженерии своих моделей для создания конкурирующих услуг. Мы ждем, чтобы услышать от Google по этому поводу.

Сама модель S1 начала жизнь как скромную, готовую модель искусственного интеллекта из QWEN Lab's Alibaba, которую каждый может скачать бесплатно. Чтобы обучить S1, исследователи собрали набор данных всего 1000 тщательно выбранных вопросов, а также ответы и процесс «мышления», стоящего за каждым, любезно предоставленным Google Gemini 2.0. Весь процесс обучения занял менее 30 минут на 16 графических процессоров NVIDIA H100. По словам Никласа Мененгоффа, исследователя из Стэнфорда, участвующего в проекте, вы можете справиться с этим сегодня за 20 долларов.

Исследователи также сделали умный шаг, чтобы сделать S1 дважды проверить свою работу и продлить свое «мышление»-они просто сказали ему «подождать». Согласно документу, добавление этого слова в процессе рассуждения S1 помогло ему придумать немного более точные ответы.

Заглядывая в будущее до 2025 года, технологические гиганты, такие как Meta, Google и Microsoft, должны вкладывать сотни миллиардов в инфраструктуру ИИ, большая часть которых пойдет на подготовку следующей волны моделей ИИ. В то время как дистилляция оказывается эффективным способом воссоздания возможностей ИИ по дешевке, это не приведет к созданию совершенно новых, новаторских моделей ИИ в ближайшее время.