A pesquisa profunda chega para desafiar a perplexidade e a pesquisa de chatgpt

Se você está no mundo da tecnologia, provavelmente já ouviu falar sobre o entusiasmo em torno do Open Deep Search (ODS), o novo framework de código aberto da Sentient Foundation. O ODS está causando impacto ao oferecer uma alternativa robusta aos motores de busca de IA proprietários, como Perplexity e ChatGPT Search, e é totalmente voltado para capacitar modelos de linguagem de grande escala (LLMs) com agentes de raciocínio avançados que utilizam busca na web e outras ferramentas para responder às suas perguntas de forma eficaz.

O Panorama da Busca por IA

As ferramentas de busca por IA de hoje, como Perplexity e ChatGPT Search, são impressionantes, combinando o conhecimento e o raciocínio dos LLMs com busca na web em tempo real para fornecer respostas atualizadas. No entanto, esses sistemas muitas vezes estão bloqueados por portas proprietárias, o que pode dificultar a personalização e aplicações especializadas.

Himanshu Tyagi, cofundador da Sentient, compartilhou com a VentureBeat, "A maior parte da inovação em busca por IA tem ocorrido a portas fechadas. Os esforços de código aberto historicamente ficaram atrás em usabilidade e desempenho. O ODS visa preencher essa lacuna, provando que sistemas abertos podem não apenas competir, mas potencialmente superar os equivalentes fechados em qualidade, velocidade e flexibilidade."

Arquitetura do Open Deep Search (ODS)

O ODS não é apenas mais uma ferramenta; é um sistema plug-and-play que você pode integrar com modelos de código aberto, como DeepSeek-R1, e modelos fechados, como GPT-4o e Claude. Em seu núcleo, o ODS possui dois componentes principais:

Ferramenta de Busca Aberta

Este componente pega sua consulta e vasculha a web em busca de informações relevantes para fornecer ao LLM como contexto. É inteligente também — reformula sua consulta de várias maneiras para garantir uma busca ampla e diversificada. Após obter resultados de um motor de busca, ele extrai trechos e páginas vinculadas, depois usa divisão e reclassificação para focar no conteúdo mais relevante. É particularmente habilidoso em lidar com fontes específicas como Wikipedia, ArXiv e PubMed, e pode ser orientado a priorizar fontes confiáveis quando confrontado com informações conflitantes.

Agente de Raciocínio Aberto

Este agente pega sua consulta e, usando o LLM base e várias ferramentas (incluindo a Ferramenta de Busca Aberta), elabora uma resposta final. A Sentient oferece duas arquiteturas de agentes distintas dentro do ODS:

ODS-v1

Esta versão usa um framework de agente ReAct combinado com raciocínio Chain-of-Thought (CoT). Os agentes ReAct alternam entre etapas de raciocínio ("pensamentos") e ações (como usar a ferramenta de busca) e observações (os resultados dessas ações). O ODS-v1 itera por esse processo para chegar a uma resposta. Se o agente ReAct encontrar um obstáculo, ele recorre ao CoT Self-Consistency, amostrando várias respostas CoT e escolhendo a mais comum.

ODS-v2

Esta versão utiliza Chain-of-Code (CoC) e um agente CodeAct, construído com a biblioteca Hugging Face SmolAgents. O CoC aproveita a capacidade do LLM de gerar e executar trechos de código para resolver problemas, enquanto o CodeAct usa geração de código para planejar ações. O ODS-v2 pode gerenciar várias ferramentas e agentes, tornando-o ideal para enfrentar tarefas complexas que podem exigir planejamento sofisticado e várias iterações de busca.

Arquitetura ODS Crédito: arXiv

Tyagi explicou, "Enquanto ferramentas como ChatGPT ou Grok oferecem 'pesquisa profunda' por meio de agentes conversacionais, o ODS opera em um nível diferente — mais como a infraestrutura por trás do Perplexity AI — fornecendo a arquitetura subjacente que alimenta a recuperação inteligente, não apenas resumos."

Desempenho e Resultados Práticos

A Sentient testou o ODS ao combiná-lo com o modelo de código aberto DeepSeek-R1 e compará-lo com concorrentes de código fechado, como Perplexity AI e o GPT-4o Search Preview da OpenAI, além de LLMs independentes como GPT-4o e Llama-3.1-70B. Eles usaram os benchmarks FRAMES e SimpleQA, adaptados para avaliar a precisão de sistemas de IA habilitados para busca.

Os resultados? Impressionantes. Tanto o ODS-v1 quanto o ODS-v2, quando combinados com o DeepSeek-R1, superaram os produtos principais da Perplexity. O ODS-v2 com DeepSeek-R1 até superou o GPT-4o Search Preview no benchmark complexo FRAMES e chegou perto no SimpleQA.

Uma percepção fascinante foi a eficiência do framework. Os agentes de raciocínio em ambas as versões do ODS aprenderam a usar a ferramenta de busca de forma sábia, muitas vezes decidindo se uma nova busca era necessária com base na qualidade dos resultados iniciais. Por exemplo, o ODS-v2 usou menos buscas na web nas tarefas mais simples do SimpleQA em comparação com as consultas multi-hop mais complexas do FRAMES, otimizando o uso de recursos.

Implicações para as Empresas

Para empresas que desejam aproveitar capacidades de raciocínio de IA poderosas com informações em tempo real, o ODS é um divisor de águas. Ele oferece uma alternativa transparente, personalizável e de alto desempenho aos sistemas de busca de IA proprietários. A capacidade de integrar LLMs e ferramentas de código aberto preferidos significa que as organizações podem adaptar sua pilha de IA e evitar ficarem presas a um único fornecedor.

"O ODS foi projetado com modularidade em mente," observou Tyagi. "Ele seleciona dinamicamente quais ferramentas usar com base nas descrições fornecidas no prompt. Isso significa que ele pode interagir fluentemente com ferramentas desconhecidas — desde que sejam bem descritas — sem precisar de exposição prévia."

No entanto, ele alertou que o desempenho do ODS pode sofrer se o conjunto de ferramentas ficar muito desorganizado, "então um design cuidadoso é crucial."

A Sentient disponibilizou o código do ODS no GitHub, convidando a comunidade a explorar e contribuir.

"Inicialmente, a força do Perplexity e do ChatGPT era sua tecnologia avançada, mas com o ODS, nivelamos esse campo tecnológico," concluiu Tyagi. "Agora, nosso objetivo é superar suas capacidades por meio de nossa estratégia de 'entradas abertas e saídas abertas', permitindo que os usuários integrem agentes personalizados ao Sentient Chat de forma fluida."