Llega la búsqueda profunda abierta para desafiar la perplejidad y la búsqueda de chatgpt

Si está en el mundo tecnológico, es probable que haya escuchado sobre el rumor que rodea Open Deep Search (ODS), el nuevo marco de código abierto de la Fundación Sentient. ODS está haciendo olas ofreciendo una alternativa robusta a los motores de búsqueda de IA patentados como la perplejidad y la búsqueda de chatgpt, y se trata de empoderar a los modelos de idiomas grandes (LLM) con agentes de razonamiento avanzados que aprovechan la búsqueda web y otras herramientas para responder a sus consultas de manera efectiva.

El paisaje de búsqueda de IA

Las herramientas de búsqueda de IA de hoy, como la perplejidad y la búsqueda de chatgpt, son impresionantes, combinando el conocimiento y el razonamiento de LLM con búsqueda web en tiempo real para ofrecer respuestas actualizadas. Sin embargo, estos sistemas a menudo están bloqueados detrás de las puertas patentadas, lo que puede hacer que la personalización y las aplicaciones especializadas sean un desafío.

Himanshu Tyagi, cofundador de Sentient, compartido con VentureBeat, "La mayoría de la innovación en la búsqueda de IA ha estado sucediendo a puerta cerrada.

Arquitectura de búsqueda profunda (ODS) abierta

ODS no es solo otra herramienta; Es un sistema plug-and-play que puede integrar con modelos de código abierto como Deepseek-R1 y modelos cerrados como GPT-4O y Claude. En esencia, ODS tiene dos componentes principales:

Herramienta de búsqueda abierta

Este componente toma su consulta y busca la Web para obtener información relevante para volver a la LLM como contexto. También es inteligente: reformula su consulta de varias maneras para garantizar una búsqueda amplia y diversa. Después de obtener resultados de un motor de búsqueda, extrae fragmentos y páginas vinculadas, luego utiliza fragmentos y reanudaciones para concentrarse en el contenido más relevante. Es particularmente experto en el manejo de fuentes específicas como Wikipedia, ARXIV y PubMed, y puede solicitarse a priorizar fuentes confiables cuando se enfrentan a información contradicional.

Agente de razonamiento abierto

Este agente toma su consulta y, utilizando la base de LLM y varias herramientas (incluida la herramienta de búsqueda abierta), crea una respuesta final. Sentient ofrece dos arquitecturas de agentes distintos dentro de ODS:

ODS-V1

Esta versión utiliza un marco de agente React combinado con el razonamiento de la cadena de pensamiento (COT). Los agentes reaccionados alternan entre los pasos de razonamiento ("pensamientos") y las acciones (como usar la herramienta de búsqueda) y las observaciones (los resultados de esas acciones). ODS-V1 itera a través de este proceso para alcanzar una respuesta. Si el agente React golpea un enganche, recae en la autoconsistencia de la cuna, muestreando múltiples respuestas de cuna y eligiendo la respuesta más común.

ODS-V2

Esta versión emplea la cadena de código (COC) y un agente de CodeAct, construido con la biblioteca de Swolagents de la cara abrazada. COC aprovecha la capacidad de la LLM para generar y ejecutar fragmentos de código para resolver problemas, mientras que CodeAct utiliza la generación de código para las acciones de planificación. ODS-V2 puede administrar múltiples herramientas y agentes, por lo que es ideal para abordar tareas complejas que podrían necesitar una planificación sofisticada y múltiples iteraciones de búsqueda.

Crédito de arquitectura ODS: ARXIV

Tyagi explicó: "Si bien herramientas como ChatGPT o Grok ofrecen 'investigación profunda' a través de agentes conversacionales, ODS opera a un nivel diferente, más como la infraestructura detrás de la IA perplejidad, que proporciona la arquitectura subyacente que impulsa la recuperación inteligente, no solo los sumarios".

Rendimiento y resultados prácticos

Sentient puso a prueba ODS emparejándolo con el modelo de código abierto Deepseek-R1 y enfrentándolo contra competidores de código cerrado como Perpleity AI y la vista previa de búsqueda GPT-4O de OpenAI, así como LLMS independientes como GPT-4O y LLAMA-3.1-70B. Utilizaron los marcos y los puntos de referencia SIMPLEQA, adaptados para evaluar la precisión de los sistemas de IA habilitados para la búsqueda.

¿Los resultados? Impresionante. Tanto ODS-V1 como ODS-V2, cuando se asociaron con Deepseek-R1, los productos insignia de Outshone Perplexity. ODS-V2 con Deepseek-R1 incluso superó la vista previa de búsqueda GPT-4O en el complejo punto de referencia de marcos y se acercó a SimpleQA.

Una visión fascinante fue la eficiencia del marco. Los agentes de razonamiento en ambas versiones de ODS aprendieron a usar la herramienta de búsqueda sabiamente, a menudo decidiendo si se necesitaba otra búsqueda en función de la calidad de los resultados iniciales. Por ejemplo, ODS-V2 utilizó menos búsquedas web en las tareas SimpleQA más simples en comparación con las consultas más complejas y múltiples en marcos, optimizando el uso de recursos.

Implicaciones para la empresa

Para las empresas que buscan aprovechar las poderosas capacidades de razonamiento de IA con información en tiempo real, ODS es un cambio de juego. Ofrece una alternativa transparente, personalizable y de alto rendimiento a los sistemas de búsqueda de IA patentados. La capacidad de enchufar LLMS y herramientas de código abierto preferidos significa que las organizaciones pueden adaptar su pila de IA y evitar ser bloqueadas en un solo proveedor.

"ODS fue diseñado con modularidad en mente", señaló Tyagi. "Selecciona dinámicamente qué herramientas usar en función de las descripciones proporcionadas en el mensaje. Esto significa que puede interactuar con herramientas desconocidas con fluidez, siempre y cuando estén bien descritadas, sin necesidad de exposición previa".

Sin embargo, advirtió que el rendimiento de ODS puede sufrir si el conjunto de herramientas se vuelve demasiado desordenado, "tan cuidadoso diseño es crucial".

Fentient ha puesto el código ODS disponible en GitHub, invitando a la comunidad a explorar y contribuir.

"Inicialmente, la fuerza de la perplejidad y el chatgpt era su tecnología avanzada, pero con ODS, hemos nivelado este campo de juego tecnológico", concluyó Tyagi. "Ahora nuestro objetivo es superar sus capacidades a través de nuestra estrategia de 'Entradas abiertas y salidas abiertas', lo que permite a los usuarios integrar sin problemas a los agentes personalizados en un chat sensible".