Дом
Tongyi Lab представила алгоритм FIPO: производительность модели на 32B превосходит o1-mini

Сегодня команда «Интеллектуальных вычислений» лаборатории Tongyi Lab представила новый алгоритм для дообучения крупных языковых моделей — FIPO (Future-KL Influenced Policy Optimization). Этот алгоритм внедряет инновационный механизм «Future-KL», который эффективно решает распространенную техническую проблему «стагнации длины вывода» при обучении с использованием чистого обучения с подкреплением (Pure RL).
При обучении рассуждениям на основе длинных текстов и сложному логическому согласованию традиционное обучение с подкреплением зачастую не способно точно определять ключевые точки принятия решений в длинных последовательностях. Алгоритм FIPO, разработанный командой Tongyi, применяет дифференцированное распределение вознаграждений к ключевым токенам, стимулируя модель к использованию более перспективного подхода при генерации цепочки мыслей (CoT).
Результаты экспериментов показывают, что в условиях чистого обучения с подкреплением с использованием модели масштаба 32B модель, использующая алгоритм FIPO, уже превзошла по производительности модели аналогичного размера, такие как DeepSeek-Zero-MATH и o1-mini от OpenAI, что свидетельствует о значительном прогрессе в способностях к логическому выводу и математическим вычислениям крупных моделей отечественного производства.
В настоящее время конкуренция между крупными моделями смещается с масштаба предварительного обучения на глубокую согласованность на этапе инференса. Выпуск FIPO не только предлагает новый способ оценки качества «процессов мышления» в моделях логического рассуждения, но и сигнализирует о том, что сообщество открытого исходного кода и ведущие отечественные лаборатории постепенно прокладывают независимый технологический путь в своем стремлении к созданию моделей рассуждения мирового уровня.
Связанная статья
Ctrip Business Travel представляет экосистему искусственного интеллекта, включающую 7 отраслевых агентов и 17 ключевых функций
Ctrip Business Travel официально представила «Экосистему искусственного интеллекта Ctrip Business Travel», которая использует крупные языковые модели для коренной перестройки системы управления корпор
Stripe приобретет OpenRouter на фоне роста популярности маршрутизации на основе моделей искусственного интеллекта
Компания Stripe согласилась приобрести OpenRouter — платформу для маршрутизации моделей искусственного интеллекта, которая предоставляет разработчикам доступ к сотням моделей через единый интерфейс. Э
Бывший исследователь OpenAI Барретт Зоф возвращается в Google для участия в разработке Gemini
Баррет Зоф, который ранее внезапно уволился и перешел в OpenAI из-за разногласий с генеральным директором Thinking Machines Lab Мириам Муларати, вновь сменил работодателя. Компания Google, входящая в
Рекомендации по связанным специальным темам
Комментарии (0)

Сегодня команда «Интеллектуальных вычислений» лаборатории Tongyi Lab представила новый алгоритм для дообучения крупных языковых моделей — FIPO (Future-KL Influenced Policy Optimization). Этот алгоритм внедряет инновационный механизм «Future-KL», который эффективно решает распространенную техническую проблему «стагнации длины вывода» при обучении с использованием чистого обучения с подкреплением (Pure RL).
При обучении рассуждениям на основе длинных текстов и сложному логическому согласованию традиционное обучение с подкреплением зачастую не способно точно определять ключевые точки принятия решений в длинных последовательностях. Алгоритм FIPO, разработанный командой Tongyi, применяет дифференцированное распределение вознаграждений к ключевым токенам, стимулируя модель к использованию более перспективного подхода при генерации цепочки мыслей (CoT).
Результаты экспериментов показывают, что в условиях чистого обучения с подкреплением с использованием модели масштаба 32B модель, использующая алгоритм FIPO, уже превзошла по производительности модели аналогичного размера, такие как DeepSeek-Zero-MATH и o1-mini от OpenAI, что свидетельствует о значительном прогрессе в способностях к логическому выводу и математическим вычислениям крупных моделей отечественного производства.
В настоящее время конкуренция между крупными моделями смещается с масштаба предварительного обучения на глубокую согласованность на этапе инференса. Выпуск FIPO не только предлагает новый способ оценки качества «процессов мышления» в моделях логического рассуждения, но и сигнализирует о том, что сообщество открытого исходного кода и ведущие отечественные лаборатории постепенно прокладывают независимый технологический путь в своем стремлении к созданию моделей рассуждения мирового уровня.
Ctrip Business Travel представляет экосистему искусственного интеллекта, включающую 7 отраслевых агентов и 17 ключевых функций
Ctrip Business Travel официально представила «Экосистему искусственного интеллекта Ctrip Business Travel», которая использует крупные языковые модели для коренной перестройки системы управления корпор
Stripe приобретет OpenRouter на фоне роста популярности маршрутизации на основе моделей искусственного интеллекта
Компания Stripe согласилась приобрести OpenRouter — платформу для маршрутизации моделей искусственного интеллекта, которая предоставляет разработчикам доступ к сотням моделей через единый интерфейс. Э
Бывший исследователь OpenAI Барретт Зоф возвращается в Google для участия в разработке Gemini
Баррет Зоф, который ранее внезапно уволился и перешел в OpenAI из-за разногласий с генеральным директором Thinking Machines Lab Мириам Муларати, вновь сменил работодателя. Компания Google, входящая в











