Chefes de pesquisa pedem que o setor de tecnologia rastreie os processos de raciocínio de IA

Pesquisadores de IA da OpenAI, Google DeepMind, Anthropic e uma ampla coalizão de empresas e organizações sem fins lucrativos estão defendendo uma exploração mais profunda do monitoramento dos chamados processos de pensamento dos modelos de raciocínio de IA, de acordo com um documento de posicionamento publicado na terça-feira.

Uma característica definidora dos modelos de raciocínio de IA, como o o3 da OpenAI e o R1 da DeepSeek, é o uso de cadeias de pensamento, ou CoTs - um processo externalizado em que os modelos de IA trabalham sistematicamente com os problemas, como os humanos que usam papel de rascunho para resolver uma equação matemática complexa. Os modelos de raciocínio são fundamentais para alimentar os agentes de IA, e os autores do artigo afirmam que o monitoramento de CoTs pode se tornar um método vital para manter sob controle agentes de IA cada vez mais capazes e difundidos.

"O monitoramento de CoTs oferece um aprimoramento valioso aos protocolos de segurança para IA de ponta, fornecendo uma janela única sobre como os agentes de IA tomam suas decisões", afirmaram os pesquisadores no documento de posicionamento. "No entanto, não há certeza de que esse nível de visibilidade continuará. Pedimos à comunidade de pesquisa e aos desenvolvedores de IA de ponta que maximizem os benefícios da capacidade de monitoramento da CoT e investiguem maneiras de preservá-la."

O documento de posicionamento pede que os principais desenvolvedores de IA investiguem o que torna as CoTs "monitoráveis" - especificamente, quais fatores aumentam ou diminuem a transparência de como os modelos de IA realmente geram suas respostas. Os autores observam que, embora o monitoramento de CoT seja uma abordagem promissora para a compreensão dos modelos de raciocínio de IA, ele continua frágil e advertem contra quaisquer alterações que possam reduzir sua transparência ou confiabilidade.

Além disso, os autores pedem aos desenvolvedores de IA que acompanhem consistentemente a capacidade de monitoramento do CoT e explorem como esse método poderia ser implementado como uma medida de segurança.

Entre os principais signatários do documento estão o diretor de pesquisa da OpenAI, Mark Chen, o CEO da Safe Superintelligence, Ilya Sutskever, o ganhador do Prêmio Nobel Geoffrey Hinton, o cofundador do Google DeepMind, Shane Legg, o consultor de segurança da xAI, Dan Hendrycks, e o cofundador da Thinking Machines, John Schulman. Entre os principais autores estão representantes do Instituto de Segurança de IA do Reino Unido e da Apollo Research, com outros signatários da METR, Amazon, Meta e UC Berkeley.

Esse documento representa um esforço unificado de muitos dos principais líderes do setor de IA para acelerar a pesquisa em segurança de IA. Ele surge em um momento de intensa concorrência entre as empresas de tecnologia - concorrência que levou a Meta a recrutar os principais pesquisadores da OpenAI, Google DeepMind e Anthropic com ofertas multimilionárias. Entre os pesquisadores mais procurados estão aqueles especializados em agentes de IA e modelos de raciocínio.

AO VIVO AGORA! TechCrunch All Stage

Crie de forma mais inteligente. Dimensione mais rápido. Conecte-se mais profundamente. Junte-se a inovadores da Precursor Ventures, NEA, Index Ventures, Underscore VC e muito mais em um dia repleto de estratégias práticas, workshops imersivos e networking significativo.

Economize US$ 450 em seu passe para o TechCrunch All Stage

Construa de forma mais inteligente. Dimensione mais rapidamente. Conecte-se mais profundamente. Junte-se a inovadores da Precursor Ventures, NEA, Index Ventures, Underscore VC e muito mais em um dia repleto de estratégias práticas, workshops imersivos e networking significativo.

"Estamos em um momento crucial em que temos esse novo recurso de cadeia de pensamento. Ele parece altamente útil, mas pode desaparecer em alguns anos se não receber atenção especial", disse Bowen Baker, pesquisador da OpenAI envolvido no artigo, em uma entrevista ao TechCrunch. "O lançamento de um documento de posicionamento como esse é, para mim, uma maneira de direcionar mais pesquisas e atenção para esse tópico antes que seja tarde demais."

A OpenAI lançou pela primeira vez uma prévia de seu modelo inicial de raciocínio de IA, o1, em setembro de 2024. Nos meses que se seguiram, o setor de tecnologia introduziu rapidamente modelos concorrentes com recursos semelhantes, com alguns do Google DeepMind, xAI e Anthropic demonstrando um desempenho de benchmark ainda mais avançado.

No entanto, ainda há uma compreensão limitada de como os modelos de raciocínio de IA operam. Embora os laboratórios de IA tenham feito avanços significativos na melhoria do desempenho da IA no último ano, isso não levou necessariamente a uma compreensão mais clara de seus processos de tomada de decisão.

A Anthropic foi pioneira na compreensão do funcionamento dos modelos de IA - um campo conhecido como interpretabilidade. No início deste ano, o CEO Dario Amodei se comprometeu a desvendar a "caixa preta" dos modelos de IA até 2027 e aumentar o investimento em interpretabilidade. Ele também incentivou a OpenAI e o Google DeepMind a investigar mais essa área.

As primeiras pesquisas da Anthropic sugerem que os CoTs podem não ser indicadores totalmente confiáveis de como esses modelos geram respostas. Ao mesmo tempo, os pesquisadores da OpenAI indicaram que o monitoramento de CoTs poderia eventualmente servir como um método confiável para rastrear o alinhamento e a segurança em modelos de IA.

Documentos de posicionamento como este têm o objetivo de aumentar a conscientização e atrair mais atenção para áreas de pesquisa emergentes, como o monitoramento de CoT. Empresas como OpenAI, Google DeepMind e Anthropic já estão realizando pesquisas nessa área, mas essa publicação pode ajudar a estimular mais financiamento e investigação.