Пионеры ИИ выигрывают награду Тьюринга за прорывы в обучении подкреплению

В 2024 году престижная премия Тьюринга, часто называемая «Нобелевской премией в области вычислительной техники», была присуждена двум выдающимся ученым-компьютерщикам, Эндрю Г. Барто и Ричарду С. Саттону, за их новаторский вклад в обучение с подкреплением. Эта область, в которой машины учатся, ориентируясь на метод проб и ошибок на основе вознаграждений, позволяет им адаптироваться в ограниченных или постоянно меняющихся средах.

Барто, ныне почетный профессор Университета Массачусетса в Амхерсте, и Саттон, профессор Университета Альберты, сыграли ключевую роль с 1980-х годов. Они разработали важные алгоритмы и теории в серии влиятельных статей, включая работы по методу, известному как обучение с временной разницей. Их усилия завершились публикацией основополагающего учебника «Обучение с подкреплением: Введение», который стал краеугольным камнем в этой области.

Премия Тьюринга названа в честь легендарного математика Алана Тьюринга, который исследовал схожие концепции в своей статье 1950-х годов «Вычислительные машины и интеллект», размышляя над вопросом, могут ли машины думать и учиться на основе опыта.

В последние годы интерес к обучению с подкреплением резко возрос, особенно после того, как Google DeepMind использовала его для создания ИИ, который одержал победу над лучшими игроками в AlphaGo. Недавно китайский стартап в области ИИ DeepSeek привлек внимание своей инновационной моделью рассуждений R1, которая в значительной степени опиралась на обучение с подкреплением для разработки более экономичных базовых моделей.

Премия Тьюринга, управляемая Ассоциацией вычислительной техники (ACM), занимает особое место в мире вычислений. Хотя Нобелевская премия также начала отмечать достижения в области вычислений, особенно в ИИ, с наградами Джеффу Хинтону и Джону Хопфилду в прошлом году за основополагающую работу в области ИИ, а также Демису Хассабису и Джону Джамперу из DeepMind за их работу над AlphaFold, премия Тьюринга остается вершиной признания в области вычислений.

Яннис Иоаннидис, президент ACM, высоко оценил работу Барто и Саттона, заявив: «Области исследований, от когнитивных наук и психологии до нейронаук, вдохновили развитие обучения с подкреплением, которое заложило основы для некоторых из наиболее значимых достижений в ИИ и дало нам более глубокое понимание работы мозга». Он подчеркнул, что обучение с подкреплением — это не только достижение прошлого, но и область с потенциалом для дальнейших прорывов.

Другие светила в области ИИ, такие как главный ученый по ИИ компании Meta Янн ЛеКун, также получили премию Тьюринга. ЛеКун вместе с Джеффом Хинтоном и Йошуа Бенджио был удостоен награды в 2018 году за их работу над глубокими нейронными сетями.

Барто и Саттон разделят приз в размере 1 миллиона долларов, финансируемый Google, продолжая вдохновлять и прокладывать путь в этой динамичной области.