Ученые ИИ присудили приз Тьюринга за технику, стоящую за победой Альфаго в шахматах

В последние десять лет искусственный интеллект поразил нас своими достижениями, особенно благодаря технике, при которой компьютеры делают случайные выборы и учатся на их результатах. Этот метод, известный как обучение с подкреплением, сыграл ключевую роль в достижении выдающихся успехов в области ИИ.

Программа AlphaZero от Google DeepMind, созданная в 2016 году, к 2018 году освоила сложные игры в шахматы, сёги и го. Аналогично, AlphaStar использовала этот подход, чтобы достичь уровня "грандмастера" в видеоигре *Starcraft II*. Эти достижения подчеркивают мощь обучения с подкреплением.

В среду в этой области был отмечен важный рубеж, когда два ученых в области ИИ были удостоены наград за новаторскую работу по развитию обучения с подкреплением. Эндрю Г. Барто, почетный профессор Университета Массачусетса в Амхерсте, и Ричард С. Саттон, профессор Университета Альберты в Канаде, получили престижную премию Тьюринга 2025 года от Ассоциации вычислительной техники (ACM).

Признание пионеров в области обучения с подкреплением

ACM высоко оценила Барто и Саттона за создание основ обучения с подкреплением, заявив, что они "ввели основные идеи, разработали математические основы и создали важные алгоритмы". Эта награда, сопровождаемая призом в 1 миллион долларов, часто рассматривается как эквивалент Нобелевской премии в компьютерной индустрии.

Обучение с подкреплением можно сравнить с мышью, которая ищет сыр в лабиринте. Мышь учится, какие пути ведут к прогрессу, а какие — к тупикам. Аналогично, нейробиологи считают, что разумные существа, такие как мыши, развивают "внутреннюю модель мира", чтобы направлять свои действия.

Саттон и Барто предположили, что компьютеры также могут разрабатывать такие внутренние модели. В обучении с подкреплением компьютер собирает данные о своей среде — будь то лабиринт или шахматная доска — и изначально действует случайным образом. Он получает обратную связь в виде наград или штрафов, что помогает ему оценивать результаты различных действий. На основе этих оценок программа разрабатывает "политику" для принятия будущих решений, балансируя между исследованием новых действий и использованием известных успешных.

Роль исследования и использования

В основе обучения с подкреплением лежит тонкий баланс между исследованием новых возможностей и использованием известных стратегий. Ни один из этих подходов в单独不足以取得成功。

Для тех, кто хочет глубже погрузиться в эту тему, учебник Саттона и Барто 2018 года является ценным ресурсом.

Стоит отметить, что термин "обучение с подкреплением" иногда используется по-другому такими компаниями, как OpenAI, которые применяют "обучение с подкреплением на основе обратной связи от человека" (RLHF) для улучшения результатов больших языковых моделей, таких как GPT. Однако это отличается от метода, разработанного Саттоном и Барто.

Обучение с подкреплением как теория мышления

Саттон, который с 2017 по 2023 год был выдающимся научным сотрудником DeepMind, утверждал, что обучение с подкреплением — это не просто техника, а "теория мышления". Он выражал обеспокоенность по поводу отсутствия вычислительной теории в ИИ, заявляя, что "обучение с подкреплением — это первая вычислительная теория интеллекта".

Помимо технических приложений, обучение с подкреплением может также пролить свет на креативность и свободную игру как проявления интеллекта. Саттон и Барто подчеркнули роль игры в обучении, предполагая, что любопытство стимулирует исследование. Саттон отметил, что игра может включать постановку целей, которые могут не быть немедленно полезными, но могут оказаться выгодными позже.

"Игра — это важная вещь", — заметил Саттон, указывая на ее значительную роль в более широком контексте обучения и интеллекта.

Путь обучения с подкреплением, от его основополагающих работ Барто и Саттона до применения в играх и за их пределами, продолжает раздвигать границы того, чего может достичь ИИ.