首页腾讯发布OpenSearch-VL：开源多模态深度搜索代理
随着多模态大型语言模型（MLLM）的快速发展，人工智能竞赛中的关键挑战正从单纯的“被动理解图像”转向主动寻找证据和进行推理。 然而，由于缺乏高质量的训练数据、自动化的轨迹合成管道以及详细的训练方案，开源社区难以复现顶尖的多模态搜索代理。
为突破这一瓶颈，腾讯混元研究团队联合加州大学洛杉矶分校（UCLA）和香港中文大学，共同推出了OpenSearch-VL。这一完全开源的蓝图，为通过强化学习（RL）构建最先进的深度搜索代理提供了路径。
创新的数据管道突破搜索瓶颈
研究团队将高质量训练数据视为模型进步的主要瓶颈。为了训练能够进行多步推理（而非简单的单击图像识别）的模型，他们设计了一条细致的数据整合管道。
该管道从维基百科的超链接图中采样路径，将复杂的实体关系转换为多跳问答对。为防止“捷径学习”，研究人员采用了模糊实体重写技术来隐藏直接答案，并集成了锚定于源代码的视觉定位功能。 这种方法迫使模型首先检测视觉信号，然后利用外部工具迭代检索信息，从而防止在检索过程中技能退化。 最终，该团队构建了SearchVL-SFT数据库（包含36,000条指令微调轨迹）和SearchVL-RL数据库（包含8,000条强化学习轨迹）。
超越简单搜索的多功能工具集
OpenSearch-VL 超越了基本的文本搜索。在实际应用中，用户提供的图像往往模糊、失真或分辨率较低，导致传统搜索工具无法有效工作。
为解决这一问题，该项目整合了一套丰富的工具：网页搜索、反向图像搜索、OCR、图像裁剪、锐化、超分辨率和透视校正。该智能体在查询外部知识之前，会像人类一样主动感知并纠正不完美的视觉信息，从而确保后续搜索的可靠性。
故障感知算法实现从错误中学习
在长周期任务中，工具调用可能引发连锁故障。一次超时或错误就可能导致整个任务脱轨。传统的强化学习（RL）通常会丢弃这些失败的轨迹，从而浪费训练资源。
OpenSearch-VL 引入了多轮故障感知 GRPO（Multi-round Fault-Aware GRPO）训练算法，该算法能够识别工具调用中的关键故障点。它利用掩码技术过滤掉故障后的无效信息，并应用单侧优势裁剪，以保留早期步骤中有用的逻辑。 这样，即使最终结果是失败，模型仍能从前阶段学习到有效的搜索路径和探索策略。
实验结果可与商业专有模型媲美
评估结果表明，该模型在七个主流多模态深度搜索基准测试中均表现优异，平均提升幅度超过 10 个百分点。在某些特定任务上，OpenSearch-VL 已经可与顶尖的闭源商业模型媲美。
研究团队计划将 OpenSearch-VL 的所有训练数据、代码和模型权重完全开源，为全球开发者提供一个可复现且可改进的基础，从而推动多模态智能体研究迈向更深层次。
相关文章
DeepMind首席执行官哈西里斯：我每天睡六个小时，通常在凌晨1点左右感到精力充沛。
Fortune 最近刊登了对谷歌 DeepMind 首席执行官 Demis Hassabis 的采访，揭示了他对休息和生产力的非传统方法。Hassabis 透露，他睡眠时间非常少，将清醒时间划分为两个不同的工作阶段。关于他的睡眠习惯，Hassabis 表示：“我目标睡六小时，但我的习惯非同寻常。我可以在白天有效运作。”他强调，睡眠少于六小时会对大脑健康产生负面影响。Hassabis 于 2010 年联合创立了 DeepMind（后被谷歌收购），并因其在蛋白质结构预测方面的开创性工作荣获 20
尽管营收未达预期，OpenAI与Anthropic仍在争夺市场份额
尽管近期有报道称OpenAI未达营收目标，给本周二的科技股带来压力，但私营人工智能实验室的投资者仍表现坚韧。经验丰富的投资者已确认，尽管媒体报道负面，他们仍不会减少投资。分析师认为当前的人工智能竞赛仍处于早期阶段，因此不会出现“赢家通吃”的局面。尽管高昂的计算成本给营收带来压力，但实验室可通过提高订阅费来提升盈利能力。行业格局正发生微妙变化与OpenAI不同，其竞争对手Anthropic获得了强有
加利福尼亚州自动驾驶合规：罚单、地理围栏和100万英里的新时代
Guident公司在南佛罗里达州运营一辆AuveTech自动驾驶班车，利用其远程监控技术管理西棕榈滩的一条4英里路线和博卡拉顿的一条1英里路线。| 图片来源：Guident加利福尼亚州正在重新定义无人驾驶车辆的监管格局，正逐渐摆脱科技行业“快速行动，打破常规”的思维模式，转向严格的问责制和严苛的行驶里程要求。Guident执行董事长兼首席执行官哈罗德·布劳恩（Harold Braun）在《机器人报
相关专题推荐
音乐创作
用于混音制作、采样准备及卡拉OK母带处理的 AI 声部分离工具
2026年最新、最优秀且评分最高的AI音轨分离工具汇总，专为混音制作、采样准备以及卡拉OK音频处理而设计。这些功能强大的创新工具经过实际测试，能够实现精准的音频分离，显著提升工作效率。XIX.AI每周都会更新免费的付费产品对比指南，帮助您找到最适合自身需求的工具。立即探索，发挥您的AI优势。
8 个工具
xix.ai
数据分析
用于收入看板、转化漏斗分析及产品指标分析的 AI SQL 助手
2026年最新最优秀的AI SQL辅助工具排名揭晓！XIX.AI精心挑选了一系列功能强大的工具，这些工具会定期更新，并通过真实的场景测试来验证其性能。使用这些值得尝试的工具，您可以快速生成精准的收入分析报表、分析销售流程，并追踪产品各项指标，从而大幅提升工作效率。立即探索，找到最适合您的数据驱动决策工具！238个字符
9 个工具
xix.ai
音乐创作
最佳用于歌曲草稿的 AI 旋律创作工具
2026 年最新最佳顶级评分 AI 旋律创作工具，助力歌曲草稿创作！XIX.AI 精心策划了一套极具影响力且经过严格真实世界测试的变革性合集，旨在提供最佳的创作体验。您可以找到详细的免费与付费版对比、精准的排名以及必试选项，这些工具旨在帮助您轻松创作出令人惊艳的歌曲草稿，并显著提升您的创意生产力。立即探索，发现您的完美工具！
8 个工具
xix.ai
聊天机器人
最佳AI对话训练工具，助你备战面试
2026年最新、最受好评的AI面试模拟训练工具现已登陆XIX.AI！这份精心精选的合集收录了功能强大、具有革命性意义的工具，它们均经过严格的实际测试，能够提供精准的反馈。 您将看到免费版与付费版的对比分析以及详细排名，助您挑选出必试之选，从而提升自信并精进技能。立即探索，发现助您面试成功的完美工具！
12 个工具
xix.ai
设计与艺术
最适合创意实验的AI风格转换工具
2026年最新最佳、评价最高的AI风格转换工具，助您开展创意实验！XIX.AI精心甄选了一系列功能强大、颠覆性的必试工具，这些工具经过实际测试和严格排名，可带来卓越的效果。这些顶级解决方案通过加速内容创作并释放无限创意潜能，帮助创作者显著提升工作效率。 立即探索，找到最适合您的工具，今天就开始创作吧！
9 个工具
xix.ai
漫画创作
最适合视觉叙事的AI对话气泡工具
2026年最新、最受欢迎的视觉叙事AI对话气泡工具现已登陆XIX.AI！这份精心精选的合集汇集了功能强大、具有颠覆性的工具，可帮助创作者提升工作效率并突破创作瓶颈。 获取免费版与付费版的对比分析，查看实际测试结果，并查阅最新排行榜，找到最适合打造引人入胜的视觉叙事的必试解决方案。立即探索，发现您的理想工具！
10 个工具
xix.ai
评论 (0)
0/500
随着多模态大型语言模型（MLLM）的快速发展，人工智能竞赛中的关键挑战正从单纯的“被动理解图像”转向主动寻找证据和进行推理。 然而，由于缺乏高质量的训练数据、自动化的轨迹合成管道以及详细的训练方案，开源社区难以复现顶尖的多模态搜索代理。
为突破这一瓶颈，腾讯混元研究团队联合加州大学洛杉矶分校（UCLA）和香港中文大学，共同推出了OpenSearch-VL。这一完全开源的蓝图，为通过强化学习（RL）构建最先进的深度搜索代理提供了路径。
创新的数据管道突破搜索瓶颈
研究团队将高质量训练数据视为模型进步的主要瓶颈。为了训练能够进行多步推理（而非简单的单击图像识别）的模型，他们设计了一条细致的数据整合管道。
该管道从维基百科的超链接图中采样路径，将复杂的实体关系转换为多跳问答对。为防止“捷径学习”，研究人员采用了模糊实体重写技术来隐藏直接答案，并集成了锚定于源代码的视觉定位功能。 这种方法迫使模型首先检测视觉信号，然后利用外部工具迭代检索信息，从而防止在检索过程中技能退化。 最终，该团队构建了SearchVL-SFT数据库（包含36,000条指令微调轨迹）和SearchVL-RL数据库（包含8,000条强化学习轨迹）。
超越简单搜索的多功能工具集
OpenSearch-VL 超越了基本的文本搜索。在实际应用中，用户提供的图像往往模糊、失真或分辨率较低，导致传统搜索工具无法有效工作。
为解决这一问题，该项目整合了一套丰富的工具：网页搜索、反向图像搜索、OCR、图像裁剪、锐化、超分辨率和透视校正。该智能体在查询外部知识之前，会像人类一样主动感知并纠正不完美的视觉信息，从而确保后续搜索的可靠性。
故障感知算法实现从错误中学习
在长周期任务中，工具调用可能引发连锁故障。一次超时或错误就可能导致整个任务脱轨。传统的强化学习（RL）通常会丢弃这些失败的轨迹，从而浪费训练资源。
OpenSearch-VL 引入了多轮故障感知 GRPO（Multi-round Fault-Aware GRPO）训练算法，该算法能够识别工具调用中的关键故障点。它利用掩码技术过滤掉故障后的无效信息，并应用单侧优势裁剪，以保留早期步骤中有用的逻辑。 这样，即使最终结果是失败，模型仍能从前阶段学习到有效的搜索路径和探索策略。
实验结果可与商业专有模型媲美
评估结果表明，该模型在七个主流多模态深度搜索基准测试中均表现优异，平均提升幅度超过 10 个百分点。在某些特定任务上，OpenSearch-VL 已经可与顶尖的闭源商业模型媲美。
研究团队计划将 OpenSearch-VL 的所有训练数据、代码和模型权重完全开源，为全球开发者提供一个可复现且可改进的基础，从而推动多模态智能体研究迈向更深层次。
DeepMind首席执行官哈西里斯：我每天睡六个小时，通常在凌晨1点左右感到精力充沛。
Fortune 最近刊登了对谷歌 DeepMind 首席执行官 Demis Hassabis 的采访，揭示了他对休息和生产力的非传统方法。Hassabis 透露，他睡眠时间非常少，将清醒时间划分为两个不同的工作阶段。关于他的睡眠习惯，Hassabis 表示：“我目标睡六小时，但我的习惯非同寻常。我可以在白天有效运作。”他强调，睡眠少于六小时会对大脑健康产生负面影响。Hassabis 于 2010 年联合创立了 DeepMind（后被谷歌收购），并因其在蛋白质结构预测方面的开创性工作荣获 20
尽管营收未达预期，OpenAI与Anthropic仍在争夺市场份额
尽管近期有报道称OpenAI未达营收目标，给本周二的科技股带来压力，但私营人工智能实验室的投资者仍表现坚韧。经验丰富的投资者已确认，尽管媒体报道负面，他们仍不会减少投资。分析师认为当前的人工智能竞赛仍处于早期阶段，因此不会出现“赢家通吃”的局面。尽管高昂的计算成本给营收带来压力，但实验室可通过提高订阅费来提升盈利能力。行业格局正发生微妙变化与OpenAI不同，其竞争对手Anthropic获得了强有
加利福尼亚州自动驾驶合规：罚单、地理围栏和100万英里的新时代
Guident公司在南佛罗里达州运营一辆AuveTech自动驾驶班车，利用其远程监控技术管理西棕榈滩的一条4英里路线和博卡拉顿的一条1英里路线。| 图片来源：Guident加利福尼亚州正在重新定义无人驾驶车辆的监管格局，正逐渐摆脱科技行业“快速行动，打破常规”的思维模式，转向严格的问责制和严苛的行驶里程要求。Guident执行董事长兼首席执行官哈罗德·布劳恩（Harold Braun）在《机器人报
2026年最新、最优秀且评分最高的AI音轨分离工具汇总，专为混音制作、采样准备以及卡拉OK音频处理而设计。这些功能强大的创新工具经过实际测试，能够实现精准的音频分离，显著提升工作效率。XIX.AI每周都会更新免费的付费产品对比指南，帮助您找到最适合自身需求的工具。立即探索，发挥您的AI优势。
8 个工具
xix.ai
2026年最新最优秀的AI SQL辅助工具排名揭晓！XIX.AI精心挑选了一系列功能强大的工具，这些工具会定期更新，并通过真实的场景测试来验证其性能。使用这些值得尝试的工具，您可以快速生成精准的收入分析报表、分析销售流程，并追踪产品各项指标，从而大幅提升工作效率。立即探索，找到最适合您的数据驱动决策工具！238个字符
9 个工具
xix.ai
2026 年最新最佳顶级评分 AI 旋律创作工具，助力歌曲草稿创作！XIX.AI 精心策划了一套极具影响力且经过严格真实世界测试的变革性合集，旨在提供最佳的创作体验。您可以找到详细的免费与付费版对比、精准的排名以及必试选项，这些工具旨在帮助您轻松创作出令人惊艳的歌曲草稿，并显著提升您的创意生产力。立即探索，发现您的完美工具！
8 个工具
xix.ai
2026年最新、最受好评的AI面试模拟训练工具现已登陆XIX.AI！这份精心精选的合集收录了功能强大、具有革命性意义的工具，它们均经过严格的实际测试，能够提供精准的反馈。 您将看到免费版与付费版的对比分析以及详细排名，助您挑选出必试之选，从而提升自信并精进技能。立即探索，发现助您面试成功的完美工具！
12 个工具
xix.ai
2026年最新最佳、评价最高的AI风格转换工具，助您开展创意实验！XIX.AI精心甄选了一系列功能强大、颠覆性的必试工具，这些工具经过实际测试和严格排名，可带来卓越的效果。这些顶级解决方案通过加速内容创作并释放无限创意潜能，帮助创作者显著提升工作效率。 立即探索，找到最适合您的工具，今天就开始创作吧！
9 个工具
xix.ai
2026年最新、最受欢迎的视觉叙事AI对话气泡工具现已登陆XIX.AI！这份精心精选的合集汇集了功能强大、具有颠覆性的工具，可帮助创作者提升工作效率并突破创作瓶颈。 获取免费版与付费版的对比分析，查看实际测试结果，并查阅最新排行榜，找到最适合打造引人入胜的视觉叙事的必试解决方案。立即探索，发现您的理想工具！
10 个工具
xix.ai
