AI Scholarsは、Alphago's Chess Victoryの背後にあるテクニックに対してチューリング賞を授与されました

過去10年間、人工知能は特にコンピュータがランダムな選択を行い、その結果から学ぶ技術を通じて驚くべき進歩を遂げてきました。この手法は強化学習として知られ、AIにおける驚異的な成果を達成する上で極めて重要でした。

Google DeepMindのAlphaZeroプログラムは、2016年から2018年までにチェス、将棋、囲碁という複雑なゲームをマスターしました。同様に、AlphaStarはこの手法を用いてビデオゲーム「StarCraft II」で「グランドマスター」のレベルに達しました。これらの成果は、強化学習の力を強調しています。

水曜日、この分野は2人のAI研究者が強化学習の進歩における画期的な業績を称えられるという重要な節目を祝いました。マサチューセッツ大学アマースト校の名誉教授であるアンドリュー・G・バートと、カナダのアルバータ大学の教授であるリチャード・S・サットンは、計算機学会（ACM）から名誉ある2025年チューリング賞を受賞しました。

強化学習のパイオニアの功績

ACMは、バートとサットンが強化学習の基礎を築き、「主要なアイデアを導入し、数学的基盤を構築し、重要なアルゴリズムを開発した」と称賛しました。この賞には100万ドルの賞金が伴い、コンピュータ業界のノーベル賞と見なされることが多いです。

強化学習は、チーズを見つけるために迷路を進むネズミに例えることができます。ネズミはどの道が進展につながり、どの道が行き止まりかを学びます。同様に、神経科学者たちは、ネズミのような知的な存在が行動を導くための「世界の内部モデル」を発展させると考えています。

サットンとバートは、コンピュータもそのような内部モデルを開発できると提案しました。強化学習では、コンピュータは迷路やチェス盤などの環境に関するデータを収集し、最初はランダムに行動します。報酬やペナルティの形でフィードバックを受け取り、異なる行動の結果を推定するのに役立ちます。これらの推定に基づいて、プログラムは将来の意思決定を導く「ポリシー」を開発し、新しい行動の探索と既知の成功した行動の活用をバランスさせます。

探索と活用の役割

強化学習の核心には、新しい可能性を探る探索と既知の戦略を活用することの間の繊細なバランスが必要です。どちらか一方だけでは成功に十分ではありません。

さらに深く学びたい方には、サットンとバートの2018年の教科書が貴重な資料です。

なお、「強化学習」という用語は、OpenAIのような企業がGPTのような大規模言語モデルの出力を改良するために「人間のフィードバックからの強化学習」（RLHF）を用いる場合、異なる意味で使われることがあります。しかし、これはサットンとバートが開発した手法とは異なります。

思考の理論としての強化学習

2017年から2023年までDeepMindの卓越した研究科学者であったサットンは、強化学習は単なる技術ではなく「思考の理論」であると主張しています。彼はAIにおける計算理論の欠如について懸念を表明し、「強化学習は知能の最初の計算理論である」と述べています。

技術的応用を超えて、強化学習は知能の表現としての創造性や自由な遊びにも光を当てる可能性があります。サットンとバートは、学習における遊びの役割を強調し、好奇心が探索を駆り立てると示唆しています。サットンは、遊びは即座に役に立たないかもしれないが後で有益になる可能性のある目標を設定することを含むと強調しました。

「遊びは大きなものです」とサットンは述べ、学習と知能のより広い文脈でのその重要な役割を示しました。

バートとサットンによる基礎的な研究から、ゲームやその他の分野への応用まで、強化学習の旅はAIが達成できることの限界を押し広げ続けています。