Các học giả AI đã trao giải Turing cho kỹ thuật sau chiến thắng cờ vua của Alphago

Trong thập kỷ qua, trí tuệ nhân tạo đã khiến chúng ta kinh ngạc với những tiến bộ của nó, đặc biệt thông qua một kỹ thuật mà máy tính đưa ra các lựa chọn ngẫu nhiên và học hỏi từ kết quả. Phương pháp này, được gọi là học tăng cường, đã đóng vai trò quan trọng trong việc đạt được những thành tựu đáng kinh ngạc trong AI.

Chương trình AlphaZero của Google DeepMind từ năm 2016, đến năm 2018 đã thành thạo các trò chơi phức tạp như cờ vua, cờ shogi và cờ vây. Tương tự, AlphaStar đã sử dụng phương pháp này để đạt cấp độ "đại kiện tướng" trong trò chơi điện tử *Starcraft II*. Những thành tựu này làm nổi bật sức mạnh của học tăng cường.

Vào thứ Tư, lĩnh vực này đã kỷ niệm một cột mốc quan trọng khi hai nhà khoa học AI được vinh danh vì công trình đột phá trong việc thúc đẩy học tăng cường. Andrew G. Barto, giáo sư danh dự tại Đại học Massachusetts, Amherst, và Richard S. Sutton, giáo sư tại Đại học Alberta, Canada, đã nhận được Giải thưởng Turing danh giá năm 2025 từ Hiệp hội Máy tính (ACM).

Công nhận những người tiên phong trong học tăng cường

ACM đã ca ngợi Barto và Sutton vì đã đặt nền móng cho học tăng cường, tuyên bố rằng họ "đã giới thiệu các ý tưởng chính, xây dựng nền tảng toán học và phát triển các thuật toán quan trọng." Giải thưởng này, đi kèm với giải thưởng 1 triệu đô la, thường được xem là tương đương với giải Nobel trong ngành công nghiệp máy tính.

Học tăng cường có thể được ví như một con chuột điều hướng trong mê cung để tìm phô mai. Con chuột học được con đường nào dẫn đến tiến bộ và con đường nào dẫn đến ngõ cụt. Tương tự, các nhà khoa học thần kinh tin rằng các sinh vật thông minh, như chuột, phát triển một "mô hình nội tại của thế giới" để định hướng hành động của chúng.

Sutton và Barto đã đề xuất rằng máy tính cũng có thể phát triển các mô hình nội tại như vậy. Trong học tăng cường, máy tính thu thập dữ liệu về môi trường của nó—có thể là một mê cung hoặc bàn cờ—và ban đầu hành động ngẫu nhiên. Nó nhận được phản hồi dưới dạng phần thưởng hoặc hình phạt, giúp nó ước tính kết quả của các hành động khác nhau. Dựa trên các ước tính này, chương trình phát triển một "chính sách" để định hướng các quyết định trong tương lai, cân bằng giữa việc khám phá các hành động mới và khai thác những hành động đã biết là thành công.

Vai trò của khám phá và khai thác

Ở cốt lõi, học tăng cường đòi hỏi một sự cân bằng tinh tế giữa việc khám phá các khả năng mới và khai thác các chiến lược đã biết. Không một cách tiếp cận nào trong số này là đủ để thành công nếu đứng một mình.

Đối với những ai muốn tìm hiểu sâu hơn, cuốn sách giáo khoa năm 2018 của Sutton và Barto về chủ đề này là một tài nguyên quý giá.

Đáng chú ý là thuật ngữ "học tăng cường" đôi khi được các công ty như OpenAI sử dụng khác đi, khi họ áp dụng "học tăng cường từ phản hồi của con người" (RLHF) để tinh chỉnh đầu ra của các mô hình ngôn ngữ lớn như GPT. Tuy nhiên, điều này khác biệt với phương pháp do Sutton và Barto phát triển.

Học tăng cường như một lý thuyết về tư duy

Sutton, người từng là Nhà khoa học nghiên cứu xuất sắc tại DeepMind từ năm 2017 đến 2023, đã lập luận rằng học tăng cường không chỉ là một kỹ thuật mà là một "lý thuyết về tư duy." Ông đã bày tỏ lo ngại về việc thiếu một lý thuyết tính toán trong AI, khẳng định rằng "học tăng cường là lý thuyết tính toán đầu tiên về trí tuệ."

Ngoài các ứng dụng kỹ thuật, học tăng cường còn có thể làm sáng tỏ sự sáng tạo và chơi tự do như những biểu hiện của trí tuệ. Sutton và Barto đã nhấn mạnh vai trò của việc chơi trong học tập, cho rằng sự tò mò thúc đẩy khám phá. Sutton nhấn mạnh rằng chơi có thể liên quan đến việc đặt ra các mục tiêu có thể không hữu ích ngay lập tức nhưng có thể mang lại lợi ích sau này.

"Chơi là một điều lớn," Sutton nhận xét, chỉ ra vai trò quan trọng của nó trong bối cảnh rộng lớn hơn của học tập và trí tuệ.

Hành trình của học tăng cường, từ công trình nền tảng của Barto và Sutton đến ứng dụng trong các trò chơi và hơn thế nữa, tiếp tục đẩy xa giới hạn của những gì AI có thể đạt được.