집텐센트, 오픈소스 다중 모달 딥 검색 에이전트 ‘OpenSearch-VL’ 공개
다중 모달 대규모 언어 모델(MLLM)이 급속히 발전함에 따라, AI 경쟁에서 핵심 과제는 단순히 “이미지를 수동적으로 이해하는 것”에서 벗어나 적극적으로 증거를 찾고 추론하는 방향으로 전환되고 있다. 그러나 고품질 훈련 데이터, 자동화된 궤적 합성 파이프라인, 상세한 훈련 레시피의 부족으로 인해 오픈소스 커뮤니티가 최상위 수준의 다중 모달 검색 에이전트를 재현하기는 어려웠습니다.
이러한 병목 현상을 극복하기 위해 텐센트 후뉴안(Tencent Hunyuan)의 연구팀은 UCLA 및 홍콩중문대학교와 협력하여 OpenSearch-VL을 출시했습니다. 이 완전한 오픈소스 청사진은 강화 학습(RL)을 통해 최첨단 딥 검색 에이전트를 구축할 수 있는 길을 제시합니다.
혁신적인 데이터 파이프라인으로 검색의 한계를 극복
연구팀은 고품질 훈련 데이터가 모델 발전의 주요 병목 현상임을 파악했습니다. 단순한 원클릭 이미지 인식 이상의 다단계 추론을 위한 모델을 훈련하기 위해, 연구팀은 세심한 데이터 통합 파이프라인을 설계했습니다.
이 파이프라인은 위키백과의 하이퍼링크 그래프에서 경로를 추출하여, 복잡한 엔티티 관계를 다단계 QA 쌍으로 변환합니다. 지름길 학습을 방지하기 위해 연구진은 직접적인 답변을 숨기기 위해 퍼지 엔티티 재작성 기법을 적용하고, 소스 코드에 기반한 시각적 위치 파악 기능을 통합했습니다. 이러한 접근 방식은 모델이 먼저 시각적 신호를 감지한 다음, 외부 도구를 사용하여 반복적으로 정보를 검색하도록 유도함으로써, 정보 검색 과정에서 모델 성능이 저하되는 것을 방지합니다. 그 결과, 연구팀은 SearchVL-SFT 데이터베이스(36,000개의 지시어 미세 조정 궤적)와 SearchVL-RL 데이터베이스(8,000개의 강화 학습 궤적)를 구축했습니다.
단순한 검색을 넘어선 다목적 도구 세트
OpenSearch-VL은 기본적인 텍스트 검색을 뛰어넘습니다. 실제 사용 환경에서 사용자가 제공하는 이미지는 종종 흐리거나 왜곡되었거나 해상도가 낮아, 기존의 검색 도구를 효과적으로 사용할 수 없는 경우가 많습니다.
이를 해결하기 위해 이 프로젝트는 웹 검색, 역이미지 검색, OCR, 이미지 자르기, 선명화, 초고해상도 복원, 원근 보정 등 다양한 도구를 통합했습니다. 에이전트는 외부 지식을 조회하기 전에, 마치 사람처럼 불완전한 시각 자료를 능동적으로 인식하고 보정함으로써, 이후의 검색이 신뢰할 수 있도록 보장합니다.
오류 인식 알고리즘을 통한 실수로부터의 학습
장기적인 작업에서 도구 호출은 연쇄적인 오류를 유발할 수 있습니다. 단 한 번의 타임아웃이나 오류만으로도 전체 작업이 중단될 수 있습니다. 기존의 강화 학습(RL)은 이러한 실패한 경로를 종종 버리곤 하여 훈련 자원을 낭비합니다.
OpenSearch-VL은 도구 호출에서 중대한 오류 지점을 식별하는 훈련 알고리즘인 ‘다단계 오류 인식 GRPO( Multi-round Fault-Aware GRPO)’를 도입했습니다. 이 알고리즘은 마스킹 기법을 사용하여 오류 발생 후의 무효한 정보를 걸러내고, 일방적 이점 클리핑(one-sided advantage clipping)을 적용하여 이전 단계의 유용한 논리를 보존합니다. 이를 통해 최종 결과가 실패로 끝나더라도 모델은 이전 단계에서 효과적인 탐색 경로와 탐색 전략을 학습할 수 있습니다.
상업용 독점 모델에 필적하는 실험 결과
평가 결과, 7가지 주요 다중 모달 딥 서치 벤치마크 전반에 걸쳐 강력한 성능을 보여주었으며, 평균 개선 폭은 10퍼센트 포인트를 초과했습니다. 특정 작업의 경우, OpenSearch-VL은 이미 최고의 비공개 상용 모델들과 어깨를 나란히 하고 있습니다.
연구팀은 OpenSearch-VL의 모든 훈련 데이터, 코드 및 모델 가중치를 완전히 오픈소스로 공개하여, 전 세계 개발자들에게 다중 모달 에이전트 연구를 더 깊은 영역으로 발전시킬 수 있는 재현 가능하고 개선 가능한 기반을 제공할 계획입니다.
관련 기사
딥마인드 CEO 하사비스: 하루 6시간 수면, 보통 오후 1시경에 활력을 느낍니다
Fortune는 최근 Google DeepMind의 CEO인 데미스 하사비스와의 인터뷰를 소개하며, 그의 비전통적인 휴식 및 생산성 접근 방식을 공개했다. 하사비스는 자신이 매우 적게 잠을 자며, 깨어 있는 시간을 두 개의 명확한 업무 블록으로 구조화한다고 밝혔다.그의 수면 습관에 대해 하사비스는 "6시간을 목표로 하지만, 제 습관은 비정형적입니다. 하루 종일 효과적으로 기능할 수 있습니다."라고 언급했다. 그는 6시간 미만의 수면이 뇌 건강
OpenAI와 Anthropic, 매출 부진 속에서도 시장 점유율 확보 경쟁
최근 OpenAI가 매출 목표를 달성하지 못했다는 보도가 나오면서 이번 주 화요일 기술주에 압박이 가해졌음에도 불구하고, 민간 AI 연구소 투자자들은 여전히 탄탄한 모습을 보이고 있다. 노련한 투자자들은 부정적인 언론 보도에도 불구하고 투자 규모를 줄이지 않을 것이라고 밝혔다.분석가들은 현재의 AI 경쟁이 초기 단계에 불과하다고 보고, “승자 독식” 식의
캘리포니아 자율주행차 규정 준수: 과태료, 지오펜스, 100만 마일의 새로운 시대
Guident는 남부 플로리다에서 AuveTech 셔틀을 운영하며, 자사의 원격 모니터링 기술을 활용해 웨스트 팜비치에서 4마일 구간과 보카 라톤에서 1마일 구간의 노선을 관리하고 있다. | 출처: Guident캘리포니아주는 자율주행차에 대한 규제 환경을 재정의하며, 기술 업계의 “빠르게 움직이고 실패를 감수하라(move fast and break thin
관련 특별 주제 추천
챗봇
언어 연습, 면접 준비 및 일상 유창성을 위한 최고의 AI 역할극 채팅 앱
2026년 최신 최고 인기 AI 역할극 채팅 앱: 언어 연습, 면접 준비 및 일상 유창성을 위한 최고의 선택! XIX.AI는 무료와 유료 비교, 실제 테스트, 매주 업데이트되는 순위 등을 제공하는 강력한 혁신적인 컬렉션을 엄선합니다. 이 필수 도구들은 글쓰기 실력을 향상시키고, 유창성 관련 어려움을 극복하며, 모든 일상 상황에서 의사소통 효율성을 높이는 데 도움을 줍니다. 지금 바로 탐색하여 언어 성장을 위한 완벽한 도구를 발견하세요!
10 도구
xix.ai
음악 작곡
리믹스 제작, 샘플링 준비, 카라오케 마스터 파일 제작을 위한 AI 스템 분리 도구
2026년 최신형으로 선정된 최고 평점의 AI 스템 분리 도구들은 리믹스 제작, 샘플링 준비, 카라오케 녹음에 특화되어 있습니다. 이 강력하고 혁신적인 도구들은 실제 환경에서의 테스트를 거쳐 정밀한 오디오 분리 기능을 제공함으로써 작업 효율성을 크게 향상시켜 줍니다. XIX.AI는 매주 업데이트되는 무료 버전과 유료 버전의 비교 가이드를 제공하여 사용자의 니즈에 가장 적합한 도구를 찾는 데 도움을 줍니다. 지금 바로 확인하여 AI 기술의 잠재력을 최대한 활용해 보세요.
8 도구
xix.ai
데이터 분석
수익 대시보드, 퍼널 분석, 그리고 제품 지표를 위한 AI SQL 코파일럿
2026년 최신 최고의 AI SQL 코파일럿들이 최상위 순위에 올랐습니다! XIX.AI는 매주 업데이트되는 실제 환경 테스트를 위해 강력하고 혁신적인 도구들을 선별하여 제공합니다. 반드시 사용해 보아야 할 이 도구들은 정확한 수익 대시보드를 생성하고, 판매 과정을 분석하며, 제품 관련 지표를 신속하게 추적할 수 있도록 도와 생산성을 크게 향상시켜 줍니다. 데이터 기반 의사결정을 위한 완벽한 도구를 찾아보세요! 238자
9 도구
xix.ai
음악 작곡
노래 초안을 위한 최고의 AI 멜로디 작곡 도구
2026년 최신 최고 인기 AI 멜로디 작곡 도구! XIX.AI는 엄격한 실전 테스트를 거쳐 최고의 작곡 경험을 제공하는 강력한 게임 체인저 컬렉션을 엄선했습니다. 무료와 유료 버전의 상세 비교, 정확한 순위, 그리고 놀라운 노래 초안을 손쉽게 만들고 창의적 생산성을 크게 높일 수 있는 필수 추천 옵션들을 확인할 수 있습니다. 지금 바로 탐색하여 완벽한 도구를 발견하세요!
8 도구
xix.ai
챗봇
면접 연습을 위한 최고의 AI 대화 트레이너 도구
2026년 최신 최고의 평점 높은 AI 대화 트레이너 도구들이 XIX.AI에서 만나보세요! 면접 연습을 위한 이 엄선된 컬렉션은 강력한, 게임 체인저 도구들을 포함하고 있으며, 엄격한 실제 세계 테스트를 거쳐 정확한 피드백을 제공합니다. 무료 대 유료 비교와 상세한 순위표를 찾을 수 있어 자신감과 기술을 향상시킬 수 있는 꼭 시도해봐야 할 옵션을 선택하는 데 도움이 됩니다. 지금 탐색하여 면접 성공을 위한 완벽한 도구를 발견하세요!
12 도구
xix.ai
디자인과 예술
창의적인 실험을 위한 최고의 AI 스타일 변환 도구
2026년 최신, 최고 평점을 받은 창의적 실험을 위한 AI 스타일 변환 도구! XIX.AI는 실제 테스트와 엄격한 평가를 통해 탁월한 결과를 보여주는, 강력하고 판도를 바꿀 만한 ‘꼭 사용해 봐야 할’ 도구들을 엄선했습니다. 이 최고의 솔루션들은 콘텐츠 제작 속도를 높이고 무한한 창의적 가능성을 열어줌으로써 크리에이터들의 생산성을 크게 높여줍니다. 지금 바로 탐색하여 나에게 딱 맞는 도구를 찾아보고, 오늘 바로 창작을 시작해 보세요!
9 도구
xix.ai
의견 (0)
0/500
다중 모달 대규모 언어 모델(MLLM)이 급속히 발전함에 따라, AI 경쟁에서 핵심 과제는 단순히 “이미지를 수동적으로 이해하는 것”에서 벗어나 적극적으로 증거를 찾고 추론하는 방향으로 전환되고 있다. 그러나 고품질 훈련 데이터, 자동화된 궤적 합성 파이프라인, 상세한 훈련 레시피의 부족으로 인해 오픈소스 커뮤니티가 최상위 수준의 다중 모달 검색 에이전트를 재현하기는 어려웠습니다.
이러한 병목 현상을 극복하기 위해 텐센트 후뉴안(Tencent Hunyuan)의 연구팀은 UCLA 및 홍콩중문대학교와 협력하여 OpenSearch-VL을 출시했습니다. 이 완전한 오픈소스 청사진은 강화 학습(RL)을 통해 최첨단 딥 검색 에이전트를 구축할 수 있는 길을 제시합니다.
혁신적인 데이터 파이프라인으로 검색의 한계를 극복
연구팀은 고품질 훈련 데이터가 모델 발전의 주요 병목 현상임을 파악했습니다. 단순한 원클릭 이미지 인식 이상의 다단계 추론을 위한 모델을 훈련하기 위해, 연구팀은 세심한 데이터 통합 파이프라인을 설계했습니다.
이 파이프라인은 위키백과의 하이퍼링크 그래프에서 경로를 추출하여, 복잡한 엔티티 관계를 다단계 QA 쌍으로 변환합니다. 지름길 학습을 방지하기 위해 연구진은 직접적인 답변을 숨기기 위해 퍼지 엔티티 재작성 기법을 적용하고, 소스 코드에 기반한 시각적 위치 파악 기능을 통합했습니다. 이러한 접근 방식은 모델이 먼저 시각적 신호를 감지한 다음, 외부 도구를 사용하여 반복적으로 정보를 검색하도록 유도함으로써, 정보 검색 과정에서 모델 성능이 저하되는 것을 방지합니다. 그 결과, 연구팀은 SearchVL-SFT 데이터베이스(36,000개의 지시어 미세 조정 궤적)와 SearchVL-RL 데이터베이스(8,000개의 강화 학습 궤적)를 구축했습니다.
단순한 검색을 넘어선 다목적 도구 세트
OpenSearch-VL은 기본적인 텍스트 검색을 뛰어넘습니다. 실제 사용 환경에서 사용자가 제공하는 이미지는 종종 흐리거나 왜곡되었거나 해상도가 낮아, 기존의 검색 도구를 효과적으로 사용할 수 없는 경우가 많습니다.
이를 해결하기 위해 이 프로젝트는 웹 검색, 역이미지 검색, OCR, 이미지 자르기, 선명화, 초고해상도 복원, 원근 보정 등 다양한 도구를 통합했습니다. 에이전트는 외부 지식을 조회하기 전에, 마치 사람처럼 불완전한 시각 자료를 능동적으로 인식하고 보정함으로써, 이후의 검색이 신뢰할 수 있도록 보장합니다.
오류 인식 알고리즘을 통한 실수로부터의 학습
장기적인 작업에서 도구 호출은 연쇄적인 오류를 유발할 수 있습니다. 단 한 번의 타임아웃이나 오류만으로도 전체 작업이 중단될 수 있습니다. 기존의 강화 학습(RL)은 이러한 실패한 경로를 종종 버리곤 하여 훈련 자원을 낭비합니다.
OpenSearch-VL은 도구 호출에서 중대한 오류 지점을 식별하는 훈련 알고리즘인 ‘다단계 오류 인식 GRPO( Multi-round Fault-Aware GRPO)’를 도입했습니다. 이 알고리즘은 마스킹 기법을 사용하여 오류 발생 후의 무효한 정보를 걸러내고, 일방적 이점 클리핑(one-sided advantage clipping)을 적용하여 이전 단계의 유용한 논리를 보존합니다. 이를 통해 최종 결과가 실패로 끝나더라도 모델은 이전 단계에서 효과적인 탐색 경로와 탐색 전략을 학습할 수 있습니다.
상업용 독점 모델에 필적하는 실험 결과
평가 결과, 7가지 주요 다중 모달 딥 서치 벤치마크 전반에 걸쳐 강력한 성능을 보여주었으며, 평균 개선 폭은 10퍼센트 포인트를 초과했습니다. 특정 작업의 경우, OpenSearch-VL은 이미 최고의 비공개 상용 모델들과 어깨를 나란히 하고 있습니다.
연구팀은 OpenSearch-VL의 모든 훈련 데이터, 코드 및 모델 가중치를 완전히 오픈소스로 공개하여, 전 세계 개발자들에게 다중 모달 에이전트 연구를 더 깊은 영역으로 발전시킬 수 있는 재현 가능하고 개선 가능한 기반을 제공할 계획입니다.
딥마인드 CEO 하사비스: 하루 6시간 수면, 보통 오후 1시경에 활력을 느낍니다
Fortune는 최근 Google DeepMind의 CEO인 데미스 하사비스와의 인터뷰를 소개하며, 그의 비전통적인 휴식 및 생산성 접근 방식을 공개했다. 하사비스는 자신이 매우 적게 잠을 자며, 깨어 있는 시간을 두 개의 명확한 업무 블록으로 구조화한다고 밝혔다.그의 수면 습관에 대해 하사비스는 "6시간을 목표로 하지만, 제 습관은 비정형적입니다. 하루 종일 효과적으로 기능할 수 있습니다."라고 언급했다. 그는 6시간 미만의 수면이 뇌 건강
OpenAI와 Anthropic, 매출 부진 속에서도 시장 점유율 확보 경쟁
최근 OpenAI가 매출 목표를 달성하지 못했다는 보도가 나오면서 이번 주 화요일 기술주에 압박이 가해졌음에도 불구하고, 민간 AI 연구소 투자자들은 여전히 탄탄한 모습을 보이고 있다. 노련한 투자자들은 부정적인 언론 보도에도 불구하고 투자 규모를 줄이지 않을 것이라고 밝혔다.분석가들은 현재의 AI 경쟁이 초기 단계에 불과하다고 보고, “승자 독식” 식의
캘리포니아 자율주행차 규정 준수: 과태료, 지오펜스, 100만 마일의 새로운 시대
Guident는 남부 플로리다에서 AuveTech 셔틀을 운영하며, 자사의 원격 모니터링 기술을 활용해 웨스트 팜비치에서 4마일 구간과 보카 라톤에서 1마일 구간의 노선을 관리하고 있다. | 출처: Guident캘리포니아주는 자율주행차에 대한 규제 환경을 재정의하며, 기술 업계의 “빠르게 움직이고 실패를 감수하라(move fast and break thin
2026년 최신 최고 인기 AI 역할극 채팅 앱: 언어 연습, 면접 준비 및 일상 유창성을 위한 최고의 선택! XIX.AI는 무료와 유료 비교, 실제 테스트, 매주 업데이트되는 순위 등을 제공하는 강력한 혁신적인 컬렉션을 엄선합니다. 이 필수 도구들은 글쓰기 실력을 향상시키고, 유창성 관련 어려움을 극복하며, 모든 일상 상황에서 의사소통 효율성을 높이는 데 도움을 줍니다. 지금 바로 탐색하여 언어 성장을 위한 완벽한 도구를 발견하세요!
10 도구
xix.ai
2026년 최신형으로 선정된 최고 평점의 AI 스템 분리 도구들은 리믹스 제작, 샘플링 준비, 카라오케 녹음에 특화되어 있습니다. 이 강력하고 혁신적인 도구들은 실제 환경에서의 테스트를 거쳐 정밀한 오디오 분리 기능을 제공함으로써 작업 효율성을 크게 향상시켜 줍니다. XIX.AI는 매주 업데이트되는 무료 버전과 유료 버전의 비교 가이드를 제공하여 사용자의 니즈에 가장 적합한 도구를 찾는 데 도움을 줍니다. 지금 바로 확인하여 AI 기술의 잠재력을 최대한 활용해 보세요.
8 도구
xix.ai
2026년 최신 최고의 AI SQL 코파일럿들이 최상위 순위에 올랐습니다! XIX.AI는 매주 업데이트되는 실제 환경 테스트를 위해 강력하고 혁신적인 도구들을 선별하여 제공합니다. 반드시 사용해 보아야 할 이 도구들은 정확한 수익 대시보드를 생성하고, 판매 과정을 분석하며, 제품 관련 지표를 신속하게 추적할 수 있도록 도와 생산성을 크게 향상시켜 줍니다. 데이터 기반 의사결정을 위한 완벽한 도구를 찾아보세요! 238자
9 도구
xix.ai
2026년 최신 최고 인기 AI 멜로디 작곡 도구! XIX.AI는 엄격한 실전 테스트를 거쳐 최고의 작곡 경험을 제공하는 강력한 게임 체인저 컬렉션을 엄선했습니다. 무료와 유료 버전의 상세 비교, 정확한 순위, 그리고 놀라운 노래 초안을 손쉽게 만들고 창의적 생산성을 크게 높일 수 있는 필수 추천 옵션들을 확인할 수 있습니다. 지금 바로 탐색하여 완벽한 도구를 발견하세요!
8 도구
xix.ai
2026년 최신 최고의 평점 높은 AI 대화 트레이너 도구들이 XIX.AI에서 만나보세요! 면접 연습을 위한 이 엄선된 컬렉션은 강력한, 게임 체인저 도구들을 포함하고 있으며, 엄격한 실제 세계 테스트를 거쳐 정확한 피드백을 제공합니다. 무료 대 유료 비교와 상세한 순위표를 찾을 수 있어 자신감과 기술을 향상시킬 수 있는 꼭 시도해봐야 할 옵션을 선택하는 데 도움이 됩니다. 지금 탐색하여 면접 성공을 위한 완벽한 도구를 발견하세요!
12 도구
xix.ai
2026년 최신, 최고 평점을 받은 창의적 실험을 위한 AI 스타일 변환 도구! XIX.AI는 실제 테스트와 엄격한 평가를 통해 탁월한 결과를 보여주는, 강력하고 판도를 바꿀 만한 ‘꼭 사용해 봐야 할’ 도구들을 엄선했습니다. 이 최고의 솔루션들은 콘텐츠 제작 속도를 높이고 무한한 창의적 가능성을 열어줌으로써 크리에이터들의 생산성을 크게 높여줍니다. 지금 바로 탐색하여 나에게 딱 맞는 도구를 찾아보고, 오늘 바로 창작을 시작해 보세요!
9 도구
xix.ai
