NVIDIA открыла исходный код платформы Polar для эволюции агентов искусственного интеллекта без барьеров посредством обучения с подкреплением

28 мая исследовательская группа NVIDIA открыла исходный код Polar — платформы для обучения методом усиления. Её основная инновация заключается в беспроблемной интеграции существующих популярных программных агентов — таких как Codex, Claude Code и Qwen Code — в процесс обучения методом усиления GRPO (Generalized Relative Policy Optimization) без необходимости внесения каких-либо изменений в исходный код.

I. Проблемы отрасли: препятствия на пути к обучению агентов с помощью методов усиления

По мере того как кодовые агенты эволюционируют от простых одношаговых задач к сложным, длительным процессам — таким как модификации кода на уровне хранилища или взаимодействие с ОС — разработчики все чаще полагаются на зрелые фреймворки выполнения (Harness). Однако интеграция этих сложных фреймворков в традиционную инфраструктуру обучения с подкреплением сопряжена со значительными трудностями:

Высокая стоимость интеграции: традиционные методы требуют переписывания логики кода в стандартные интерфейсы среды, такие как env.init() и env.step(), что является чрезвычайно утомительным процессом.

Потеря информации: во время рефакторинга часто теряются важные детали — такие как вызовы инструментов, контекст многоходового диалога или логика взаимодействия субагентов — что не позволяет модели получать высококачественные сигналы обучения.

II. Основное решение: использование «границы» в качестве точки входа для обучения

Polar устраняет необходимость переписывания фреймворка выполнения. Вместо этого он рассматривает границу API модели как точку входа для обучения.

Обработка «черного ящика»: Polar размещает прозрачный прокси (шлюз) между средой выполнения кода и сервером инференса модели. Независимо от того, использует ли агент API от Anthropic, OpenAI или Google, Polar беспрепятственно перехватывает и перенаправляет запросы.

Реконструкция трассировки: при пересылке Polar записывает ключевые данные в реальном времени — такие как подсказки, выборочные токены и вероятности журнала — и реконструирует их в данные «трассировки», необходимые тренеру реинфорсментного обучения.

Эффективная асинхронная архитектура: система использует сервер Rollout для планирования и сохранения данных, а узлы шлюза управляют жизненным циклом и повторным использованием ресурсов. Благодаря использованию предварительно нагретого буфера (буфера READY) и параллельной обработке задач она эффективно устраняет задачи с длинным хвостом, которые могут блокировать обучение на GPU.

III. Скачок производительности: трансформация кодовых агентов

Экспериментальные данные показывают, что Polar в сочетании с обучением GRPO дает значительный прирост производительности:

Проверенный тест SWE-Bench: при использовании одной и той же базовой модели Qwen3.5-4B производительность варьируется в зависимости от фреймворка кода:

Фреймворк Codex: показатель pass@1 поднимается с 3,8% до 26,4% — рост на 594,74%.

Фреймворк Claude Code: с 29,8% до 34,6%.

Фреймворк Pi: с 34,2% до 40,4%.

Экстремальная эффективность: после внедрения стратегии prefix_merging время обучения сокращается примерно в 5,39 раза по сравнению с традиционным режимом «за запрос», а загрузка GPU повышается с 20,4% до 87,7%.

Комментарии отрасли

Открытие исходного кода NVIDIA Polar по сути создает «магистраль» для входа агентов ИИ в обучение с помощью метода усиления. Это не только позволяет исследователям эффективно проводить обучение с использованием масштабных фреймворков с открытым исходным кодом, но и снижает барьер для вычислений на GPU за счет оптимизации на системном уровне.

С ростом популярности Polar разработчикам больше не нужно беспокоиться о том, «как адаптировать модели к фреймворкам обучения». В будущем эволюция кодирующих агентов ИИ станет более стандартизированной и эффективной. Это знаменует переход в обучении агентов ИИ от ручной настройки в лаборатории к крупномасштабному, систематическому инженерному производству.

URL статьи: https://arxiv.org/pdf/2605.24220