텐센트, 오픈소스 다중 모달 딥 검색 에이전트 ‘OpenSearch-VL’ 공개
다중 모달 대규모 언어 모델(MLLM)이 급속히 발전함에 따라, AI 경쟁에서 핵심 과제는 단순히 “이미지를 수동적으로 이해하는 것”에서 벗어나 적극적으로 증거를 찾고 추론하는 방향으로 전환되고 있다. 그러나 고품질 훈련 데이터, 자동화된 궤적 합성 파이프라인, 상세한 훈련 레시피의 부족으로 인해 오픈소스 커뮤니티가 최상위 수준의 다중 모달 검색 에이전트를 재현하기는 어려웠습니다.
이러한 병목 현상을 극복하기 위해 텐센트 후뉴안(Tencent Hunyuan)의 연구팀은 UCLA 및 홍콩중문대학교와 협력하여 OpenSearch-VL을 출시했습니다. 이 완전한 오픈소스 청사진은 강화 학습(RL)을 통해 최첨단 딥 검색 에이전트를 구축할 수 있는 길을 제시합니다.

혁신적인 데이터 파이프라인으로 검색의 한계를 극복
연구팀은 고품질 훈련 데이터가 모델 발전의 주요 병목 현상임을 파악했습니다. 단순한 원클릭 이미지 인식 이상의 다단계 추론을 위한 모델을 훈련하기 위해, 연구팀은 세심한 데이터 통합 파이프라인을 설계했습니다.
이 파이프라인은 위키백과의 하이퍼링크 그래프에서 경로를 추출하여, 복잡한 엔티티 관계를 다단계 QA 쌍으로 변환합니다. 지름길 학습을 방지하기 위해 연구진은 직접적인 답변을 숨기기 위해 퍼지 엔티티 재작성 기법을 적용하고, 소스 코드에 기반한 시각적 위치 파악 기능을 통합했습니다. 이러한 접근 방식은 모델이 먼저 시각적 신호를 감지한 다음, 외부 도구를 사용하여 반복적으로 정보를 검색하도록 유도함으로써, 정보 검색 과정에서 모델 성능이 저하되는 것을 방지합니다. 그 결과, 연구팀은 SearchVL-SFT 데이터베이스(36,000개의 지시어 미세 조정 궤적)와 SearchVL-RL 데이터베이스(8,000개의 강화 학습 궤적)를 구축했습니다.
단순한 검색을 넘어선 다목적 도구 세트
OpenSearch-VL은 기본적인 텍스트 검색을 뛰어넘습니다. 실제 사용 환경에서 사용자가 제공하는 이미지는 종종 흐리거나 왜곡되었거나 해상도가 낮아, 기존의 검색 도구를 효과적으로 사용할 수 없는 경우가 많습니다.
이를 해결하기 위해 이 프로젝트는 웹 검색, 역이미지 검색, OCR, 이미지 자르기, 선명화, 초고해상도 복원, 원근 보정 등 다양한 도구를 통합했습니다. 에이전트는 외부 지식을 조회하기 전에, 마치 사람처럼 불완전한 시각 자료를 능동적으로 인식하고 보정함으로써, 이후의 검색이 신뢰할 수 있도록 보장합니다.
오류 인식 알고리즘을 통한 실수로부터의 학습
장기적인 작업에서 도구 호출은 연쇄적인 오류를 유발할 수 있습니다. 단 한 번의 타임아웃이나 오류만으로도 전체 작업이 중단될 수 있습니다. 기존의 강화 학습(RL)은 이러한 실패한 경로를 종종 버리곤 하여 훈련 자원을 낭비합니다.
OpenSearch-VL은 도구 호출에서 중대한 오류 지점을 식별하는 훈련 알고리즘인 ‘다단계 오류 인식 GRPO( Multi-round Fault-Aware GRPO)’를 도입했습니다. 이 알고리즘은 마스킹 기법을 사용하여 오류 발생 후의 무효한 정보를 걸러내고, 일방적 이점 클리핑(one-sided advantage clipping)을 적용하여 이전 단계의 유용한 논리를 보존합니다. 이를 통해 최종 결과가 실패로 끝나더라도 모델은 이전 단계에서 효과적인 탐색 경로와 탐색 전략을 학습할 수 있습니다.
상업용 독점 모델에 필적하는 실험 결과
평가 결과, 7가지 주요 다중 모달 딥 서치 벤치마크 전반에 걸쳐 강력한 성능을 보여주었으며, 평균 개선 폭은 10퍼센트 포인트를 초과했습니다. 특정 작업의 경우, OpenSearch-VL은 이미 최고의 비공개 상용 모델들과 어깨를 나란히 하고 있습니다.
연구팀은 OpenSearch-VL의 모든 훈련 데이터, 코드 및 모델 가중치를 완전히 오픈소스로 공개하여, 전 세계 개발자들에게 다중 모달 에이전트 연구를 더 깊은 영역으로 발전시킬 수 있는 재현 가능하고 개선 가능한 기반을 제공할 계획입니다.
관련 기사
애플 스마트 글래스가 WWDC27에서 공개될 수 있으며, 프라이버시 보호를 강조할 것으로 예상된다
블룸버그의 마크 거먼은 시제품명 N50인 애플의 스마트 글래스가 2027년 6월 WWDC27에서 공개될 예정이며, 2027년 가을에 소매 시장 출시가 예상된다고 보도했다. 원래 올해 말과 2027년 초 출시가 목표였으나, 제품의 추가 정교화와 프라이버시 프로토콜 강화를 위해 출시 시기가 연기되었다.프라이버시는 애플의 스마트 글래스 전략의 핵심 기둥이다. 메타 등 경쟁사의 프라이버시 논란에서 교훈을 얻은 애플은 강력한 기능과 정책을 도입하고 있
내부 세부 사항 공개: 차세대 Gemini에 대한Computing Power의 긴장, 내부 팀들은 개발 우선순위와 자원 배분에 대해 의견이 갈렸다
보고에 따르면 구글의 높은 기대를 모았던次世代 제미니 모델의 출시가 연기되었다. 개발 우선순위와 자원 배분에 대한 내부 의견 불일치, 제한된 컴퓨팅 용량, 복잡한 승인 절차가 결합되어 2개월의 지연이 불가피해졌다. 자체 맞춤형 TPU 칩을 보유하고 있음에도 불구하고, 모델 학습, 구글 클라우드 서비스, 수많은 소비자 및 기업용 AI 애플리케이션 간의 경쟁적 수요로 인해 구글은 컴퓨팅 자원 부족에 직면해 있다. 최고 경영진은 이제 조직 개편을 통
OpenAI, 성장 둔화 우려 불식…여러 사업부門 가속화
외부로부터의 판매 성장 둔화 및 내부 목표 미달성에 대한 scrutiny에 대응하여, AI 선도 기업 오픈AI는 4월 28일 화요일에 자신감 있는 성명을 발표했다. 이 회사는 소비자 제품과 기업 서비스의 빠른 진전을 명확히 하며, 최근 제기된 사업 둔화에 대한 추측을 직접적으로 반박했다.동사가 "여러 내부 목표를 놓쳤다"는 주장에 대해, 오픈AI는 이러한 보도를 "전형적인 클릭베이트"로 일축했다. 이 회사는 AI 통합에 대한 강력한 기업 수요
관련 특별 주제 추천
의견 (0)
0/500
다중 모달 대규모 언어 모델(MLLM)이 급속히 발전함에 따라, AI 경쟁에서 핵심 과제는 단순히 “이미지를 수동적으로 이해하는 것”에서 벗어나 적극적으로 증거를 찾고 추론하는 방향으로 전환되고 있다. 그러나 고품질 훈련 데이터, 자동화된 궤적 합성 파이프라인, 상세한 훈련 레시피의 부족으로 인해 오픈소스 커뮤니티가 최상위 수준의 다중 모달 검색 에이전트를 재현하기는 어려웠습니다.
이러한 병목 현상을 극복하기 위해 텐센트 후뉴안(Tencent Hunyuan)의 연구팀은 UCLA 및 홍콩중문대학교와 협력하여 OpenSearch-VL을 출시했습니다. 이 완전한 오픈소스 청사진은 강화 학습(RL)을 통해 최첨단 딥 검색 에이전트를 구축할 수 있는 길을 제시합니다.

혁신적인 데이터 파이프라인으로 검색의 한계를 극복
연구팀은 고품질 훈련 데이터가 모델 발전의 주요 병목 현상임을 파악했습니다. 단순한 원클릭 이미지 인식 이상의 다단계 추론을 위한 모델을 훈련하기 위해, 연구팀은 세심한 데이터 통합 파이프라인을 설계했습니다.
이 파이프라인은 위키백과의 하이퍼링크 그래프에서 경로를 추출하여, 복잡한 엔티티 관계를 다단계 QA 쌍으로 변환합니다. 지름길 학습을 방지하기 위해 연구진은 직접적인 답변을 숨기기 위해 퍼지 엔티티 재작성 기법을 적용하고, 소스 코드에 기반한 시각적 위치 파악 기능을 통합했습니다. 이러한 접근 방식은 모델이 먼저 시각적 신호를 감지한 다음, 외부 도구를 사용하여 반복적으로 정보를 검색하도록 유도함으로써, 정보 검색 과정에서 모델 성능이 저하되는 것을 방지합니다. 그 결과, 연구팀은 SearchVL-SFT 데이터베이스(36,000개의 지시어 미세 조정 궤적)와 SearchVL-RL 데이터베이스(8,000개의 강화 학습 궤적)를 구축했습니다.
단순한 검색을 넘어선 다목적 도구 세트
OpenSearch-VL은 기본적인 텍스트 검색을 뛰어넘습니다. 실제 사용 환경에서 사용자가 제공하는 이미지는 종종 흐리거나 왜곡되었거나 해상도가 낮아, 기존의 검색 도구를 효과적으로 사용할 수 없는 경우가 많습니다.
이를 해결하기 위해 이 프로젝트는 웹 검색, 역이미지 검색, OCR, 이미지 자르기, 선명화, 초고해상도 복원, 원근 보정 등 다양한 도구를 통합했습니다. 에이전트는 외부 지식을 조회하기 전에, 마치 사람처럼 불완전한 시각 자료를 능동적으로 인식하고 보정함으로써, 이후의 검색이 신뢰할 수 있도록 보장합니다.
오류 인식 알고리즘을 통한 실수로부터의 학습
장기적인 작업에서 도구 호출은 연쇄적인 오류를 유발할 수 있습니다. 단 한 번의 타임아웃이나 오류만으로도 전체 작업이 중단될 수 있습니다. 기존의 강화 학습(RL)은 이러한 실패한 경로를 종종 버리곤 하여 훈련 자원을 낭비합니다.
OpenSearch-VL은 도구 호출에서 중대한 오류 지점을 식별하는 훈련 알고리즘인 ‘다단계 오류 인식 GRPO( Multi-round Fault-Aware GRPO)’를 도입했습니다. 이 알고리즘은 마스킹 기법을 사용하여 오류 발생 후의 무효한 정보를 걸러내고, 일방적 이점 클리핑(one-sided advantage clipping)을 적용하여 이전 단계의 유용한 논리를 보존합니다. 이를 통해 최종 결과가 실패로 끝나더라도 모델은 이전 단계에서 효과적인 탐색 경로와 탐색 전략을 학습할 수 있습니다.
상업용 독점 모델에 필적하는 실험 결과
평가 결과, 7가지 주요 다중 모달 딥 서치 벤치마크 전반에 걸쳐 강력한 성능을 보여주었으며, 평균 개선 폭은 10퍼센트 포인트를 초과했습니다. 특정 작업의 경우, OpenSearch-VL은 이미 최고의 비공개 상용 모델들과 어깨를 나란히 하고 있습니다.
연구팀은 OpenSearch-VL의 모든 훈련 데이터, 코드 및 모델 가중치를 완전히 오픈소스로 공개하여, 전 세계 개발자들에게 다중 모달 에이전트 연구를 더 깊은 영역으로 발전시킬 수 있는 재현 가능하고 개선 가능한 기반을 제공할 계획입니다.
애플 스마트 글래스가 WWDC27에서 공개될 수 있으며, 프라이버시 보호를 강조할 것으로 예상된다
블룸버그의 마크 거먼은 시제품명 N50인 애플의 스마트 글래스가 2027년 6월 WWDC27에서 공개될 예정이며, 2027년 가을에 소매 시장 출시가 예상된다고 보도했다. 원래 올해 말과 2027년 초 출시가 목표였으나, 제품의 추가 정교화와 프라이버시 프로토콜 강화를 위해 출시 시기가 연기되었다.프라이버시는 애플의 스마트 글래스 전략의 핵심 기둥이다. 메타 등 경쟁사의 프라이버시 논란에서 교훈을 얻은 애플은 강력한 기능과 정책을 도입하고 있
내부 세부 사항 공개: 차세대 Gemini에 대한Computing Power의 긴장, 내부 팀들은 개발 우선순위와 자원 배분에 대해 의견이 갈렸다
보고에 따르면 구글의 높은 기대를 모았던次世代 제미니 모델의 출시가 연기되었다. 개발 우선순위와 자원 배분에 대한 내부 의견 불일치, 제한된 컴퓨팅 용량, 복잡한 승인 절차가 결합되어 2개월의 지연이 불가피해졌다. 자체 맞춤형 TPU 칩을 보유하고 있음에도 불구하고, 모델 학습, 구글 클라우드 서비스, 수많은 소비자 및 기업용 AI 애플리케이션 간의 경쟁적 수요로 인해 구글은 컴퓨팅 자원 부족에 직면해 있다. 최고 경영진은 이제 조직 개편을 통
OpenAI, 성장 둔화 우려 불식…여러 사업부門 가속화
외부로부터의 판매 성장 둔화 및 내부 목표 미달성에 대한 scrutiny에 대응하여, AI 선도 기업 오픈AI는 4월 28일 화요일에 자신감 있는 성명을 발표했다. 이 회사는 소비자 제품과 기업 서비스의 빠른 진전을 명확히 하며, 최근 제기된 사업 둔화에 대한 추측을 직접적으로 반박했다.동사가 "여러 내부 목표를 놓쳤다"는 주장에 대해, 오픈AI는 이러한 보도를 "전형적인 클릭베이트"로 일축했다. 이 회사는 AI 통합에 대한 강력한 기업 수요





집






