La recherche en profondeur ouverte arrive pour défier la perplexité et la recherche de chatpt

Si vous êtes dans le monde de la technologie, vous avez probablement entendu parler du buzz entourant la recherche en profondeur ouverte (ODS), le nouveau cadre open-source de la Fondation Sentient. ODS fait des vagues en offrant une alternative robuste aux moteurs de recherche d'IA propriétaires comme la recherche de perplexité et de chatpt, et il s'agit d'autonomiser les modèles de grandes langues (LLM) avec des agents de raisonnement avancé qui exploitent la recherche Web et d'autres outils pour répondre efficacement à vos questions.

Le paysage de recherche AI

Les outils de recherche AI ​​d'aujourd'hui, tels que la recherche de perplexité et de chatppt, sont impressionnants, combinant les connaissances et le raisonnement de LLMS avec une recherche Web en temps réel pour fournir des réponses à jour. Cependant, ces systèmes sont souvent verrouillés derrière des portes propriétaires, ce qui peut faire de la personnalisation et des applications spécialisées un défi.

Himanshu Tyagi, co-fondateur de Sentient, a partagé avec VentureBeat: "La plupart des innovations dans la recherche d'IA se sont produites à huis clos. Les efforts open-source ont historiquement été à la traîne dans la convivialité et les performances. Les OD visent à combler cette lacune, prouvant que les systèmes ouverts peuvent non seulement rivaliser, mais potentiellement dépasser les homologues fermés de la qualité, de la vitesse et de la flexibilité."

Architecture de recherche en profondeur ouverte (ODS)

ODS n'est pas seulement un autre outil; C'est un système de plug-and-play que vous pouvez intégrer avec les modèles open source comme Deepseek-R1 et des modèles fermés comme GPT-4O et Claude. À la base, ODS a deux composantes principales:

Ouvrir l'outil de recherche

Ce composant prend votre requête et parcourt le Web pour des informations pertinentes afin de renforcer le LLM en tant que contexte. C'est intelligent aussi - il reformuit votre requête de diverses manières pour assurer une recherche large et diversifiée. Après avoir récupéré les résultats d'un moteur de recherche, il extrait des extraits d'extraits et des pages liés, puis utilise le set et le reconstitution pour se concentrer sur le contenu le plus pertinent. Il est particulièrement apte à gérer des sources spécifiques comme Wikipedia, Arxiv et PubMed, et peut être invité à hiérarchiser des sources fiables face à des informations contradictoires.

Agent de raisonnement ouvert

Cet agent prend votre requête et, en utilisant le LLM de base et divers outils (y compris l'outil de recherche ouvert), fabrique une réponse finale. Sentient propose deux architectures d'agent distinctes au sein des OD:

ODS-V1

Cette version utilise un cadre d'agent React combiné avec un raisonnement en chaîne de pensées (COT). Les agents React alternent entre les étapes de raisonnement ("pensées") et les actions (comme l'utilisation de l'outil de recherche) et les observations (les résultats de ces actions). ODS-V1 itère dans ce processus pour atteindre une réponse. Si l'agent React frappe un accroc, il retombe sur l'auto-cohérence du COT, l'échantillonnage de plusieurs réponses COT et le choix de la réponse la plus courante.

ODS-V2

Cette version utilise la chaîne de code (COC) et un agent de codect, construite avec la bibliothèque Smolagents Face Hugging Face. COC exploite la capacité de la LLM à générer et à exécuter des extraits de code pour résoudre les problèmes, tandis que CodeAct utilise la génération de code pour la planification des actions. ODS-V2 peut gérer plusieurs outils et agents, ce qui le rend idéal pour s'attaquer aux tâches complexes qui pourraient nécessiter une planification sophistiquée et plusieurs itérations de recherche.

Crédit d'architecture ODS: Arxiv

Tyagi a expliqué: "Alors que des outils comme Chatgpt ou Grok offrent des« recherches approfondies »via des agents conversationnels, les OD fonctionnent à un niveau différent - plus comme l'infrastructure derrière la perplexité IA - fournissant l'architecture sous-jacente qui alimente la récupération intelligente, pas seulement les résumés."

Performance et résultats pratiques

Sentient a mis les OD à l'épreuve en l'associant avec le modèle Open-source Deepseek-R1 et en le opposant à des concurrents de source fermée comme Perplexity AI et l'aperçu de la recherche GPT-4O d'OpenAI, ainsi que des LLM autonomes comme GPT-4O et LLAMA-3.1-70B. Ils ont utilisé les cadres et les repères SimpleQA, adaptés pour évaluer la précision des systèmes d'IA activés par la recherche.

Les résultats? Impressionnant. ODS-V1 et ODS-V2, lorsqu'ils sont associés à Deepseek-R1, ont dépassé les produits phares de Perplexity. ODS-V2 avec Deepseek-R1 a même dépassé l'aperçu de la recherche GPT-4O sur la référence Complex Frames et s'est rapproché de SimpleQA.

Un aperçu fascinant était l'efficacité du cadre. Les agents de raisonnement dans les deux versions ODS ont appris à utiliser judicieusement l'outil de recherche, décidant souvent si une autre recherche était nécessaire en fonction de la qualité des résultats initiaux. Par exemple, ODS-V2 a utilisé moins de recherches Web sur les tâches SimpleQA plus simples par rapport aux requêtes multi-HOP plus complexes dans les cadres, optimisant l'utilisation des ressources.

Implications pour l'entreprise

Pour les entreprises qui cherchent à exploiter de puissantes capacités de raisonnement d'IA avec des informations en temps réel, ODS change la donne. Il offre une alternative transparente, personnalisable et hautement performante aux systèmes de recherche d'IA propriétaires. La possibilité de brancher les LLM et les outils préférés des open source signifie que les organisations peuvent adapter leur pile AI et éviter d'être verrouillée dans un seul fournisseur.

"ODS a été conçu avec la modularité à l'esprit", a noté Tyagi. "Il sélectionne dynamiquement les outils à utiliser en fonction des descriptions fournies dans l'invite.

Cependant, il a averti que les performances ODS peuvent souffrir si le jeu d'outils devient trop encombré, "une conception prudente est donc cruciale".

Sentient a rendu le code ODS disponible sur GitHub, invitant la communauté à explorer et à contribuer.

"Initialement, la force de la perplexité et du Chatgpt a été leur technologie avancée, mais avec les OD, nous avons nivelé ce terrain de jeu technologique", a conclu Tyagi. "Nous visons désormais à dépasser leurs capacités grâce à notre stratégie" Open Entrées et Open Sorties ", permettant aux utilisateurs d'intégrer de manière transparente les agents personnalisés dans le chat sensible."