Open Deep Search가 도착하여 당황하고 Chatgpt 검색에 도전합니다.

기술 분야에 있다면, Sentient Foundation의 새로운 오픈소스 프레임워크인 Open Deep Search(ODS)에 대한 소식을 들어봤을 것이다. ODS는 Perplexity와 ChatGPT Search 같은 독점 AI 검색 엔진에 대한 강력한 대안을 제공하며, 대형 언어 모델(LLM)에 웹 검색과 기타 도구를 활용하는 고급 추론 에이전트를 결합해 효과적으로 질문에 답한다.

AI 검색 환경

Perplexity와 ChatGPT Search 같은 오늘날의 AI 검색 도구는 LLM의 지식과 추론을 실시간 웹 검색과 결합해 최신 답변을 제공하며 인상적이다. 하지만 이러한 시스템은 종종 독점적 장벽 뒤에 있어, 맞춤화와 특화된 응용이 어렵다.

Sentient의 공동 창립자인 Himanshu Tyagi는 VentureBeat에 이렇게 말했다: "AI 검색의 대부분 혁신은 비공개로 이루어졌다. 오픈소스 노력은 역사적으로 사용성과 성능에서 뒤처졌다. ODS는 이 격차를 좁히고, 오픈 시스템이 품질, 속도, 유연성에서 폐쇄형 시스템과 경쟁하거나 이를 능가할 수 있음을 증명한다."

Open Deep Search(ODS) 아키텍처

ODS는 단순한 도구가 아니라, DeepSeek-R1 같은 오픈소스 모델과 GPT-4o, Claude 같은 폐쇄형 모델 모두와 통합 가능한 플러그앤플레이 시스템이다. ODS의 핵심은 두 가지 주요 구성 요소로 이루어져 있다:

오픈 검색 도구

이 구성 요소는 질문을 받아 웹에서 관련 정보를 검색해 LLM에 맥락으로 제공한다. 질문을 다양한 방식으로 재구성해 폭넓고 다양한 검색을 보장하며, 검색 엔진에서 결과를 가져온 후 스니펫과 링크된 페이지를 추출한다. 이어서 청킹과 재순위화를 통해 가장 관련성 높은 콘텐츠를 선별한다. 특히 Wikipedia, ArXiv, PubMed 같은 특정 소스를 처리하는 데 능숙하며, 상충되는 정보에 직면했을 때 신뢰할 수 있는 소스를 우선시하도록 설정할 수 있다.

오픈 추론 에이전트

이 에이전트는 질문을 받아 기본 LLM과 다양한 도구(오픈 검색 도구 포함)를 사용해 최종 답변을 만든다. Sentient는 ODS 내에서 두 가지 독특한 에이전트 아키텍처를 제공한다:

ODS-v1

이 버전은 ReAct 에이전트 프레임워크와 Chain-of-Thought(CoT) 추론을 결합한다. ReAct 에이전트는 추론 단계("생각")와 행동(검색 도구 사용 등), 관찰(행동 결과)을 번갈아 수행하며 답변에 도달한다. ReAct 에이전트가 문제를 만나면 CoT Self-Consistency로 전환해 여러 CoT 응답을 샘플링하고 가장 일반적인 답변을 선택한다.

ODS-v2

이 버전은 Chain-of-Code(CoC)와 Hugging Face SmolAgents 라이브러리로 구축된 CodeAct 에이전트를 사용한다. CoC는 LLM의 코드 생성 및 실행 능력을 활용해 문제를 해결하고, CodeAct는 행동 계획을 위해 코드 생성을 사용한다. ODS-v2는 복잡한 작업을 처리하는 데 이상적이며, 여러 도구와 에이전트를 관리해 정교한 계획과 다중 검색 반복을 수행한다.

ODS 아키텍처 제공: arXiv

Tyagi는 이렇게 설명했다: "ChatGPT나 Grok 같은 도구는 대화형 에이전트를 통해 '심층 연구'를 제공하지만, ODS는 Perplexity AI의 기반 인프라처럼 작동하며, 단순한 요약이 아닌 지능적인 정보 검색을 지원하는 아키텍처를 제공한다."

성능 및 실제 결과

Sentient는 ODS를 오픈소스 DeepSeek-R1 모델과 결합해 Perplexity AI, OpenAI의 GPT-4o Search Preview, 그리고 GPT-4o, Llama-3.1-70B 같은 독립형 LLM과 비교 테스트했다. 검색 지원 AI 시스템의 정확도를 평가하기 위해 FRAMES와 SimpleQA 벤치마크를 사용했다.

결과는 인상적이었다. DeepSeek-R1과 결합된 ODS-v1과 ODS-v2는 Perplexity의 주요 제품을 능가했다. ODS-v2와 DeepSeek-R1은 복잡한 FRAMES 벤치마크에서 GPT-4o Search Preview를 앞섰고, SimpleQA에서도 비슷한 성능을 보였다.

흥미로운 점은 프레임워크의 효율성이었다. ODS의 두 버전 추론 에이전트는 초기 결과의 품질에 따라 추가 검색이 필요한지 판단하며 검색 도구를 현명하게 사용했다. 예를 들어, ODS-v2는 SimpleQA의 간단한 작업에서 FRAMES의 복잡한 다중 홉 질의보다 웹 검색을 적게 사용해 자원을 최적화했다.

기업에 미치는 영향

실시간 정보와 강력한 AI 추론 능력을 활용하려는 기업에게 ODS는 게임 체인저다. 독점 AI 검색 시스템에 대한 투명하고 맞춤화 가능하며 고성능 대안을 제공한다. 선호하는 오픈소스 LLM과 도구를 연결할 수 있어 조직은 단일 벤더에 종속되지 않고 AI 스택을 맞춤화할 수 있다.

Tyagi는 이렇게 말했다: "ODS는 모듈성을 염두에 두고 설계되었다. 프롬프트에 제공된 설명을 기반으로 사용할 도구를 동적으로 선택한다. 즉, 잘 설명된 도구라면 사전 노출 없이도 유연하게 상호작용할 수 있다."

하지만 그는 도구 세트가 너무 복잡해지면 ODS 성능이 저하될 수 있으니 "신중한 설계가 중요하다"고 경고했다.

Sentient는 ODS 코드를 GitHub에 공개하며 커뮤니티의 탐색과 기여를 초대했다.

Tyagi는 이렇게 결론지었다: "처음에는 Perplexity와 ChatGPT의 강점이 첨단 기술이었지만, ODS로 우리는 이 기술적 격차를 좁혔다. 이제 우리는 '오픈 입력과 오픈 출력' 전략을 통해 그들의 능력을 넘어서는 것을 목표로 하며, 사용자가 Sentient Chat에 맞춤 에이전트를 원활히 통합할 수 있도록 한다."