Компактная модель искусственного интеллекта Samsung превосходит более крупные конкуренты в рассуждениях

В новой работе исследователя ИИ из Samsung рассказывается о том, как компактная сеть может превзойти массивные большие языковые модели (LLM) при решении сложных задач рассуждения.

В гонке за доминирование в области ИИ преобладающей отраслевой мантрой является "больше - значит лучше". В то время как технологические гиганты вкладывают миллиарды в разработку все более крупных моделей, Алексия Жоликоер-Мартино из Samsung SAIL Montréal предлагает другой, более эффективный подход, используя Tiny Recursive Model (TRM).

Имея всего 7 миллионов параметров - менее 0,01% от размера лучших LLM - TRM достигает новых современных результатов в таких печально известных сложных тестах, как тест на интеллект ARC-AGI. Результаты, полученные Samsung, опровергают распространенное мнение о том, что масштаб - единственный путь к развитию ИИ, и представляют более устойчивую и эффективную по параметрам альтернативу.

Преодоление ограничений масштаба

Несмотря на то, что LLM превосходно генерируют человекоподобный текст, их способность обрабатывать сложные, многоступенчатые рассуждения часто оказывается хрупкой. Поскольку они генерируют ответы токен за токеном, одна ошибка на ранней стадии может поставить под угрозу все решение, что приведет к неправильному окончательному ответу.

Такие методы, как Chain-of-Thought, в которых модель разбивает проблему на этапы, направлены на смягчение этой проблемы. Однако эти подходы требуют больших вычислительных затрат, часто требуют значительного количества высококачественных данных для рассуждений и все равно могут приводить к ошибочной логике. Даже с такими усовершенствованиями LLM не могут решить головоломки, требующие безупречного логического исполнения.

Исследование Samsung основывается на недавно созданной модели иерархического рассуждения (Hierarchical Reasoning Model, HRM). В HRM использовались две небольшие нейронные сети, которые рекурсивно уточняли ответы с разной частотой. Хотя модель была многообещающей, она была сложной, опиралась на неопределенные биологические аргументы и теоремы о фиксированной точке, которые не всегда были применимы.

Вместо двухсетевой структуры HRM в TRM используется одна компактная сеть, которая рекурсивно улучшает как свои внутренние рассуждения, так и предлагаемый ответ.

Модель получает вопрос, первоначальное предположение об ответе и скрытую функцию рассуждения. Затем она проходит несколько этапов для уточнения своих рассуждений на основе всех трех входных данных. Используя эти улучшенные рассуждения, она обновляет свой окончательный прогноз ответа. Весь этот процесс может повторяться до 16 раз, что позволяет модели постепенно самокорректироваться с высокой эффективностью с точки зрения параметров.

Как ни странно, исследование показало, что двухслойная сеть обобщает гораздо лучше, чем четырехслойная. Более компактная конструкция, по-видимому, предотвращает чрезмерную подгонку - обычную проблему при обучении на ограниченных, специализированных наборах данных.

TRM также избавлена от сложных математических предположений своего предшественника. Оригинальная модель HRM должна была предполагать сходимость функции к фиксированной точке, чтобы оправдать свое обучение. TRM обходится без этого, осуществляя обратное распространение через полный процесс рекурсии - это изменение значительно повысило производительность, увеличив точность теста Sudoku-Extreme с 56,5 до 87,4 % в тестах на абляцию.

Модель от Samsung превосходит эталоны ИИ, используя меньшее количество ресурсов

Результаты поразительны. На наборе данных Sudoku-Extreme, в котором используется всего 1 000 обучающих примеров, TRM достигает точности 87,4 % - это значительный скачок по сравнению с 55 % у HRM. В задаче Maze-Hard, которая включает в себя навигацию по длинным путям через лабиринты 30×30, TRM набирает 85,3 % по сравнению с 74,5 % у HRM.

Особенно заметен значительный прогресс TRM в корпусе абстракций и рассуждений (ARC-AGI) - эталоне, предназначенном для оценки истинного жидкого интеллекта в ИИ. Используя всего 7 миллионов параметров, TRM достигает точности 44,6% в ARC-AGI-1 и 7,8% в ARC-AGI-2. Это превосходит HRM, который использовал 27 М параметров, и даже превосходит многие из крупнейших в мире LLM. Для сравнения, Gemini 2.5 Pro набирает всего 4,9 % в ARC-AGI-2.

Процесс обучения TRM также был оптимизирован. Адаптивный механизм под названием ACT, определяющий, когда модель достаточно улучшила ответ, чтобы двигаться дальше, был упрощен, что устранило необходимость в дорогостоящем втором проходе вперед на каждом шаге обучения. Эта корректировка не повлияла на общее обобщение.

Исследование Samsung является убедительным аргументом против тенденции создания все более крупных моделей ИИ. Оно демонстрирует, что, создавая архитектуры, способные к итеративному рассуждению и самокоррекции, можно решать чрезвычайно сложные задачи, используя лишь малую часть вычислительных ресурсов.

См. также: Новый ИИ-агент Google переписывает код для автоматизации устранения уязвимостей

Хотите узнать больше об искусственном интеллекте и больших данных от лидеров отрасли? Посетите выставку AI & Big Data Expo в Амстердаме, Калифорнии и Лондоне. Это комплексное мероприятие является частью TechEx и проходит параллельно с другими крупными технологическими событиями, такими как Cyber Security Expo. Подробности здесь.

AI News проводится компанией TechForge Media. Ознакомиться с другими предстоящими мероприятиями и вебинарами по корпоративным технологиям можно здесь.