Novo modelo de IA supera os LLMs com aumento de velocidade de 100x e dados mínimos de treinamento

A Sapient Intelligence, startup de IA sediada em Cingapura, desenvolveu uma nova arquitetura de IA que pode rivalizar - e, em determinados cenários, superar drasticamente - os modelos de linguagem ampla (LLMs) em desafios de raciocínio complexos, apesar de usar um modelo de tamanho muito menor e consumir muito menos dados.

Esse sistema, chamado de Modelo de Raciocínio Hierárquico (HRM), inspira-se no uso pelo cérebro humano de mecanismos separados para planejamento lento e metódico e processamento rápido e intuitivo. O modelo oferece resultados notáveis usando apenas uma fração dos dados e da memória exigidos pelos LLMs modernos. Essa eficiência tem um potencial significativo para implementações de IA corporativa, em que os dados geralmente são limitados e a potência computacional é uma restrição.

As limitações do raciocínio de cadeia de pensamento

Quando confrontados com uma tarefa complexa, os LLMs contemporâneos dependem principalmente do prompting de cadeia de raciocínio (CoT), em que os problemas são divididos em etapas intermediárias baseadas em texto - obrigando efetivamente o modelo a verbalizar seu processo de pensamento à medida que avança em direção a uma resposta.

Embora a CoT tenha aprimorado os recursos de raciocínio dos LLMs, ela apresenta pontos fracos inerentes. Em seu artigo de pesquisa, a equipe da Sapient Intelligence afirma que "a CoT é apenas um paliativo para o raciocínio, não uma solução verdadeira. Ela depende de falhas rígidas e determinadas por humanos, em que uma etapa errada ou uma sequência desordenada pode inviabilizar completamente todo o processo."

Essa dependência da geração de texto explícito vincula o raciocínio do modelo ao nível do token, exigindo frequentemente enormes conjuntos de dados de treinamento e resultando em respostas demoradas e lentas. Esse método também deixa passar o tipo de "raciocínio latente" que ocorre internamente, sem ser expresso diretamente em palavras.

Os pesquisadores observam que "um método mais simplificado é essencial para reduzir essas necessidades intensivas de dados".

Uma estrutura hierárquica inspirada no cérebro

Para ir além da CoT, a equipe investigou o "raciocínio latente", em que o modelo pensa nos problemas usando suas representações internas e abstratas em vez de produzir "tokens de pensamento" tangíveis. Isso se alinha mais estreitamente com a cognição humana; o artigo menciona que "o cérebro mantém cadeias de raciocínio lógico estendidas com eficiência notável em um espaço latente, sem precisar converter continuamente os pensamentos de volta à linguagem".

Entretanto, é difícil implementar esse tipo de raciocínio profundo e interno na IA. A simples adição de camadas a um modelo de aprendizagem profunda frequentemente desencadeia o problema do "gradiente de desaparecimento", em que os sinais de aprendizagem desaparecem entre as camadas, dificultando o treinamento eficaz. Por outro lado, os projetos recorrentes que iteram por meio de cálculos podem apresentar "convergência precoce", em que o modelo se fixa em uma solução prematuramente, sem examinar minuciosamente o problema.

Em busca de um método superior, a equipe da Sapient buscou orientação na neurociência. "O cérebro humano apresenta um modelo persuasivo para atingir a profundidade computacional que falta aos sistemas artificiais atuais", afirmam os pesquisadores. "Ele estrutura a computação hierarquicamente em áreas corticais que trabalham em escalas de tempo variadas, permitindo uma análise profunda e em vários estágios."

Influenciados por isso, eles criaram o HRM com dois módulos interconectados e recorrentes: um módulo de alto nível (H) para estratégias lentas e abstratas e um módulo de baixo nível (L) para processamento rápido e detalhado. Esse arranjo facilita um mecanismo que a equipe chama de "convergência hierárquica". Essencialmente, o módulo L rápido lida com um segmento do problema, executando vários ciclos até encontrar uma resposta local estável. Em seguida, o módulo H lento incorpora esse resultado, refina seu plano abrangente e atribui ao módulo L um subproblema novo e mais bem definido. Isso reinicia efetivamente o módulo L, impedindo-o de estagnar (convergência antecipada) e permitindo que o sistema completo execute uma série estendida de estágios de raciocínio usando uma arquitetura simplificada que evita gradientes de desaparecimento.

De acordo com o artigo, "esse mecanismo permite que o HRM realize uma sucessão de cálculos separados, estáveis e aninhados, em que o módulo H orienta a abordagem global de solução de problemas e o módulo L realiza a pesquisa intensiva ou o refinamento de cada fase". Essa arquitetura de loop aninhado permite que o modelo realize análises profundas em seu espaço latente sem exigir solicitações de CoT estendidas ou conjuntos de dados maciços.

Uma preocupação lógica é se esse "raciocínio latente" sacrifica a interpretabilidade. Guan Wang, fundador e CEO da Sapient Intelligence, contesta essa noção, esclarecendo que as operações internas do modelo podem ser interpretadas e ilustradas, da mesma forma que a CoT oferece uma visão da cognição de um modelo. Ele observa ainda que a própria CoT pode não ser confiável. "A CoT não representa com precisão o verdadeiro raciocínio interno de um modelo", informou Wang à VentureBeat, citando pesquisas que indicam que os modelos podem ocasionalmente produzir respostas corretas com raciocínio falho, e o contrário. "Ele ainda é fundamentalmente opaco."

HRM em ação

Para avaliar seu modelo, os pesquisadores compararam o HRM com benchmarks que exigiam pesquisa intensiva e retrocesso, como o Abstraction and Reasoning Corpus (ARC-AGI), quebra-cabeças de Sudoku altamente desafiadores e tarefas complexas de navegação em labirintos.

As descobertas revelam que o HRM aprende a resolver problemas que são insolúveis até mesmo para LLMs sofisticados. Por exemplo, nos testes "Sudoku-Extreme" e "Maze-Hard", os modelos CoT de alto nível falharam completamente, registrando 0% de precisão. Enquanto isso, o HRM alcançou uma precisão quase perfeita após o treinamento com apenas 1.000 exemplos por tarefa.

No benchmark ARC-AGI, uma medida de raciocínio abstrato e generalização, o HRM de 27 milhões de parâmetros atingiu 40,3%. Esse resultado supera modelos proeminentes baseados em CoT, como o muito maior o3-mini-high (34,5%) e o Claude 3.7 Sonnet (21,2%). Essa conquista, realizada sem um vasto conjunto de dados de pré-treinamento e com o mínimo de dados, ressalta a força e a eficiência de seu projeto.

Embora a solução de quebra-cabeças mostre a capacidade do modelo, seu impacto prático é visto em uma categoria diferente de desafios. De acordo com Wang, os desenvolvedores devem continuar usando LLMs para tarefas criativas ou centradas na linguagem, mas para "tarefas complexas ou determinísticas", uma estrutura no estilo HRM fornece resultados superiores com alucinações reduzidas. Ele destaca os "problemas sequenciais que precisam de uma tomada de decisão complexa ou de um planejamento de longo prazo", especialmente em áreas críticas para a latência, como IA e robótica incorporadas, ou domínios com dados esparsos, como a pesquisa científica.

Nessas situações, a HRM não apenas encontra soluções, mas aprende a aprimorar sua solução de problemas. "Em nossos testes de Sudoku em nível de mestre... A HRM exige gradualmente menos etapas à medida que o treinamento continua - semelhante à evolução de um iniciante para um especialista", explicou Wang.

Para as empresas, é nesse ponto que a eficiência da arquitetura afeta a lucratividade. Em vez da produção sequencial, token a token, da CoT, a computação paralela da HRM permite o que Wang aproxima como uma "aceleração de 100 vezes na velocidade de conclusão da tarefa". Isso resulta em uma latência de inferência reduzida e na capacidade de operar o raciocínio avançado em dispositivos de borda.

Os benefícios financeiros também são consideráveis. "Mecanismos de raciocínio especializados, como o HRM, apresentam uma opção mais viável para tarefas de raciocínio complexas específicas em comparação com modelos orientados por API grandes, caros e de alta latência", afirmou Wang. Para ilustrar a eficiência, ele mencionou que o treinamento do modelo para Sudoku profissional requer cerca de duas horas de GPU e, para o exigente benchmark ARC-AGI, entre 50 e 200 horas de GPU - uma parcela mínima dos recursos necessários para modelos de base enormes. Isso cria uma oportunidade de abordar questões comerciais especializadas, desde o planejamento logístico até a solução de problemas complicados do sistema, em contextos em que os dados e o financiamento são restritos.

Para o futuro, a Sapient Intelligence já está progredindo para transformar o HRM de uma ferramenta de resolução de problemas de nicho em um componente de raciocínio mais amplo e de uso geral. "Estamos criando ativamente modelos inspirados no cérebro com base na HRM", disse Wang, apontando para resultados iniciais encorajadores na área de saúde, previsão climática e robótica. Ele deu a entender que esses modelos futuros serão substancialmente diferentes dos sistemas atuais baseados em texto, especialmente por meio da integração de funções de autocorreção.

A pesquisa implica que, para um conjunto de problemas que têm confundido os atuais líderes de IA, o caminho a seguir pode não ser modelos maiores, mas estruturas mais inteligentes e mais bem organizadas, modeladas com base no sistema de raciocínio mais avançado: o cérebro humano.