Os estudiosos da IA ​​concederam a Turing Prêmio por técnica por trás da vitória do Alphago no xadrez

Na última década, a inteligência artificial nos impressionou com seus avanços, particularmente por meio de uma técnica em que computadores fazem escolhas aleatórias e aprendem com os resultados. Esse método, conhecido como aprendizado por reforço, foi fundamental para alcançar feitos notáveis em IA.

Tomemos como exemplo o programa AlphaZero do Google DeepMind, de 2016, que até 2018 dominou os complexos jogos de xadrez, shogi e Go. Da mesma forma, o AlphaStar utilizou essa abordagem para atingir o nível de "grão-mestre" no videogame *Starcraft II*. Esses feitos destacam o poder do aprendizado por reforço.

Na quarta-feira, o campo celebrou um marco significativo, com dois estudiosos de IA sendo homenageados por seu trabalho inovador no avanço do aprendizado por reforço. Andrew G. Barto, professor emérito da Universidade de Massachusetts, Amherst, e Richard S. Sutton, professor da Universidade de Alberta, Canadá, receberam o prestigiado Prêmio Turing de 2025 da Association for Computing Machinery (ACM).

Reconhecimento dos Pioneiros no Aprendizado por Reforço

A ACM elogiou Barto e Sutton por estabelecerem as bases para o aprendizado por reforço, afirmando que eles "introduziram as principais ideias, construíram os fundamentos matemáticos e desenvolveram algoritmos importantes." Essa honraria, que vem com um prêmio de US$ 1 milhão, é frequentemente vista como o equivalente da indústria da computação a um Prêmio Nobel.

O aprendizado por reforço pode ser comparado a um rato navegando por um labirinto para encontrar queijo. O rato aprende quais caminhos levam ao progresso e quais levam a becos sem saída. Da mesma forma, neurocientistas acreditam que seres inteligentes, como ratos, desenvolvem um "modelo interno do mundo" para guiar suas ações.

Sutton e Barto propuseram que computadores também poderiam desenvolver esses modelos internos. No aprendizado por reforço, o computador coleta dados sobre seu ambiente — seja um labirinto ou um tabuleiro de xadrez — e inicialmente age de forma aleatória. Ele recebe feedback na forma de recompensas ou penalidades, o que o ajuda a estimar os resultados de diferentes ações. Com base nessas estimativas, o programa desenvolve uma "política" para orientar decisões futuras, equilibrando a exploração de novas ações com a exploração de ações conhecidas e bem-sucedidas.

O Papel da Exploração e da Exploração de Conhecimentos

No cerne do aprendizado por reforço está um equilíbrio delicado entre explorar novas possibilidades e utilizar estratégias conhecidas. Nenhuma abordagem sozinha é suficiente para o sucesso.

Para aqueles interessados em se aprofundar, o livro didático de Sutton e Barto de 2018 sobre o assunto é um recurso valioso.

Vale notar que o termo "aprendizado por reforço" é por vezes usado de maneira diferente por empresas como a OpenAI, que empregam o "aprendizado por reforço a partir de feedback humano" (RLHF) para refinar as saídas de grandes modelos de linguagem como o GPT. No entanto, isso é distinto do método desenvolvido por Sutton e Barto.

Aprendizado por Reforço como uma Teoria do Pensamento

Sutton, que foi um Cientista de Pesquisa Distinto no DeepMind de 2017 a 2023, argumentou que o aprendizado por reforço não é apenas uma técnica, mas uma "teoria do pensamento". Ele expressou preocupação com a falta de uma teoria computacional em IA, afirmando que "o aprendizado por reforço é a primeira teoria computacional da inteligência."

Além de suas aplicações técnicas, o aprendizado por reforço pode também lançar luz sobre a criatividade e o brincar livre como expressões de inteligência. Sutton e Barto destacaram o papel do brincar no aprendizado, sugerindo que a curiosidade impulsiona a exploração. Sutton enfatizou que o brincar pode envolver a definição de objetivos que podem não ser imediatamente úteis, mas que podem se mostrar benéficos mais tarde.

"O brincar é algo grande", afirmou Sutton, indicando seu papel significativo no contexto mais amplo do aprendizado e da inteligência.

A jornada do aprendizado por reforço, desde seu trabalho fundamental por Barto e Sutton até sua aplicação em jogos e além, continua a expandir os limites do que a IA pode alcançar.