AI 학자들은 Alphago의 체스 승리 뒤에 기술로 튜링 상을 수상했습니다.

지난 10년 동안 인공지능은 그 발전으로 우리를 놀라게 했으며, 특히 컴퓨터가 무작위 선택을 하고 그 결과로부터 배우는 기술을 통해 이루어졌습니다. 강화 학습으로 알려진 이 방법은 AI에서 놀라운 업적을 달성하는 데 중추적인 역할을 했습니다.

2016년 Google DeepMind의 AlphaZero 프로그램을 예로 들면, 2018년까지 체스, 쇼기, 바둑과 같은 복잡한 게임을 마스터했습니다. 마찬가지로 AlphaStar는 이 접근법을 사용하여 비디오 게임 *Starcraft II*에서 "그랜드마스터" 수준에 도달했습니다. 이러한 성취는 강화 학습의 힘을 강조합니다.

수요일, 두 명의 AI 학자가 강화 학습 발전에 기여한 획기적인 업적으로 수상하는 중요한 이정표를 기념했습니다. 매사추세츠 대학교 앰허스트 캠퍼스의 명예교수 앤드류 G. 바르토와 캐나다 앨버타 대학교의 교수 리처드 S. 서튼은 컴퓨팅 기계 협회(ACM)로부터 권위 있는 2025년 튜링상을 수상했습니다.

강화 학습의 개척자들에 대한 인정

ACM은 바르토와 서튼이 강화 학습의 기초를 닦고, "주요 아이디어를 소개하고, 수학적 기초를 구축하며, 중요한 알고리즘을 개발했다"고 칭찬했습니다. 100만 달러의 상금이 수여되는 이 상은 종종 컴퓨터 산업의 노벨상으로 여겨집니다.

강화 학습은 치즈를 찾기 위해 미로를 탐색하는 쥐에 비유할 수 있습니다. 쥐는 어떤 경로가 발전으로 이어지고 어떤 경로가 막다른 길인지 배웁니다. 마찬가지로, 신경과학자들은 쥐와 같은 지능적인 존재가 행동을 안내하기 위해 "세계의 내부 모델"을 개발한다고 믿습니다.

서튼과 바르토는 컴퓨터도 이러한 내부 모델을 개발할 수 있다고 제안했습니다. 강화 학습에서 컴퓨터는 미로든 체스판이든 환경에 대한 데이터를 수집하고 처음에는 무작위로 행동합니다. 보상이나 페널티 형태로 피드백을 받아 다양한 행동의 결과를 추정하는 데 도움을 줍니다. 이러한 추정을 바탕으로 프로그램은 새로운 행동 탐색과 알려진 성공적인 행동 활용을 균형 있게 조절하며 미래 결정을 안내하는 "정책"을 개발합니다.

탐색과 활용의 역할

강화 학습의 핵심에는 새로운 가능성을 탐색하는 것과 알려진 전략을 활용하는 것 사이의 섬세한 균형이 필요합니다. 어느 한쪽만으로는 성공을 거둘 수 없습니다.

더 깊이 알고 싶은 사람들에게는 서튼과 바르토의 2018년 교과서가 귀중한 자료입니다.

특히 OpenAI와 같은 회사에서는 "인간 피드백을 통한 강화 학습"(RLHF)을 사용하여 GPT와 같은 대규모 언어 모델의 출력을 개선하지만, 이는 서튼과 바르토가 개발한 방법과는 다릅니다.

사고 이론으로서의 강화 학습

2017년부터 2023년까지 DeepMind의 수석 연구 과학자였던 서튼은 강화 학습이 단순한 기술이 아니라 "사고 이론"이라고 주장했습니다. 그는 AI에 계산 이론이 부족하다는 우려를 표하며, "강화 학습은 지능의 첫 번째 계산 이론"이라고 단언했습니다.

기술적 응용을 넘어, 강화 학습은 창의성과 자유로운 놀이가 지능의 표현으로서의 역할을 조명할 수 있습니다. 서튼과 바르토는 학습에서 놀이의 역할을 강조하며 호기심이 탐색을 이끈다고 제안했습니다. 서튼은 놀이가 즉시 유용하지 않을 수 있는 목표를 설정하는 것을 포함하며, 나중에 유익할 수 있다고 강조했습니다.

"놀이는 중요한 것"이라고 서튼은 말하며, 학습과 지능의 더 넓은 맥락에서 놀이의 중요한 역할을 나타냈습니다.

바르토와 서튼의 기초 작업에서부터 게임 및 그 이상으로의 응용에 이르기까지, 강화 학습의 여정은 AI가 달성할 수 있는 경계를 계속 확장하고 있습니다.