Прогресс моделей рассуждений ИИ может достичь плато к 2026 году, предполагает исследование Epoch AI

Исследование Epoch AI, некоммерческого института по исследованию ИИ, указывает, что сектор ИИ может вскоре столкнуться с трудностями в достижении значительных улучшений производительности моделей рассуждений. Отчет прогнозирует, что прогресс в этих моделях может замедлиться в течение следующего года.

Продвинутые модели рассуждений, такие как o3 от OpenAI, недавно обеспечили заметные улучшения в тестах ИИ, особенно в задачах по математике и программированию. Эти модели используют увеличенную вычислительную мощность для повышения производительности, хотя это часто приводит к увеличению времени обработки по сравнению с традиционными моделями.

Модели рассуждений создаются путем первоначального обучения стандартной модели на обширных наборах данных, за которым следует обучение с подкреплением, предоставляющее модели обратную связь для улучшения ее способности решать задачи.

Согласно Epoch, ведущие лаборатории ИИ, такие как OpenAI, пока не использовали значительные вычислительные ресурсы для фазы обучения с подкреплением в разработке моделей рассуждений.

Эта тенденция меняется. OpenAI сообщила, что использовала примерно в десять раз больше вычислительной мощности для обучения o3 по сравнению с его предшественником, o1, при этом Epoch предполагает, что большая часть этой мощности была выделена на обучение с подкреплением. Исследователь OpenAI Дэн Робертс недавно указал, что компания планирует еще больше сосредоточиться на обучении с подкреплением, возможно, используя даже больше вычислительных ресурсов, чем для первоначального обучения модели.

Однако Epoch отмечает, что существуют ограничения на то, сколько вычислительной мощности можно применить к обучению с подкреплением.

Джош Ю, аналитик Epoch и автор исследования, отмечает, что прирост производительности от стандартного обучения моделей ИИ в настоящее время увеличивается в четыре раза ежегодно, в то время как прирост от обучения с подкреплением увеличивается в десять раз каждые три-пять месяцев. Он прогнозирует, что прогресс моделей рассуждений, вероятно, выровняется с общими достижениями в области ИИ к 2026 году.

Презентация на TechCrunch Sessions: AI

Забронируйте свое место на TC Sessions: AI, чтобы представить свои инновации более чем 1200 лицам, принимающим решения, не разоряя банк. Доступно до 9 мая или пока есть места.

Презентация на TechCrunch Sessions: AI

Забронируйте свое место на TC Sessions: AI, чтобы представить свои инновации более чем 1200 лицам, принимающим решения, не разоряя банк. Доступно до 9 мая или пока есть места.

Исследование Epoch опирается на определенные предположения и включает публичные заявления лидеров индустрии ИИ. Оно также подчеркивает, что масштабирование моделей рассуждений может столкнуться с препятствиями, помимо вычислительных ограничений, таких как высокие накладные расходы на исследования.

«Текущие затраты на исследования могут ограничить масштабируемость моделей рассуждений», — объясняет Ю. «Поскольку быстрое масштабирование вычислений является ключевым фактором их прогресса, это заслуживает пристального внимания.»

Любые признаки того, что модели рассуждений могут вскоре достичь предела производительности, могут вызвать обеспокоенность в индустрии ИИ, которая сильно инвестировала в их разработку. Исследования уже показывают, что эти модели, несмотря на высокие эксплуатационные расходы, имеют заметные недостатки, включая более высокую склонность к созданию неточных результатов по сравнению с некоторыми традиционными моделями.