Исследование Microsoft показало, что большее количество ИИ-токенов увеличивает количество ошибок в рассуждениях

Новые сведения об эффективности рассуждений в LLM

Новое исследование компании Microsoft демонстрирует, что передовые методы рассуждений в больших языковых моделях не дают одинаковых улучшений в разных системах ИИ. В их новаторском исследовании проанализировано, как девять ведущих базовых моделей реагируют на различные подходы к масштабированию в процессе вывода.

Оценка методов масштабирования времени вывода

Исследовательская группа применила строгую методологию тестирования трех различных методов масштабирования:

• Традиционное побуждение к цепочке мыслей
• Параллельная генерация ответов с агрегированием
• Последовательное уточнение с помощью циклов обратной связи

Восемь комплексных контрольных заданий представляли собой сложные тестовые сценарии по различным дисциплинам, включая математику, научные рассуждения, решение сложных задач и пространственный анализ. В ряде заданий использовалась градация уровней сложности, что позволило изучить, как производительность зависит от сложности задач.

Ключевые открытия в области рассуждений

Комплексная оценка позволила сделать несколько важных выводов для специалистов по ИИ:

• Прирост производительности за счет использования методов масштабирования существенно зависит от архитектуры модели и области задач.
• Более длинные ответы не всегда коррелируют с лучшими решениями
• Вычислительные затраты непредсказуемо колеблются даже для одинаковых запросов
• Традиционные модели иногда могут сравняться со специализированными моделями рассуждений благодаря широкому масштабированию
• Механизмы верификации обещают повысить эффективность

Практические последствия для развития ИИ

Эти выводы имеют существенные последствия для внедрения ИИ в корпоративном секторе:

Предсказуемость затрат является одной из основных проблем, а использование токенов показывает высокую дисперсию даже для правильных ответов. "Разработчикам нужны модели с последовательными схемами вычислений", - отмечает исследователь Microsoft Бесмира Нуши.

Исследование также определяет длину ответа как потенциальный индикатор уверенности модели: слишком длинные ответы часто сигнализируют о неправильных решениях, превышающих определенные пороговые значения.

Будущее эффективных систем рассуждений

В исследовании выделено несколько перспективных направлений для дальнейшего развития:

"Механизмы верификации могут изменить наш подход к проблемам рассуждений", - объясняет Нуши, предполагая, что существующие системы проверки предприятий могут быть адаптированы для приложений ИИ. Такая интеграция позволит интерфейсам на естественном языке использовать специализированную логику проверки.

Исследование подчеркивает растущую потребность в решениях, обеспечивающих баланс между точностью рассуждений и предсказуемыми вычислительными затратами, поскольку системы ИИ берут на себя все более сложные задачи в реальном мире.