首页由安德森·霍洛维茨基金支持的 Vals 瞄准 AI 基准测试领域的领先地位
基准测试已成为行业标准，AI公司借此验证其模型的能力，利用有利的指标与竞争对手区分开来，并宣传其优势。简而言之，强劲的基准测试结果几乎总是转化为积极的公共关系。
不幸的是，公司也发现了操纵传统基准测试系统的方法——其中许多系统已过时，并非旨在评估现代AI模型的能力。
Vals是一家成立于2024年的初创公司，旨在纠正这一有缺陷的系统。在不到两年的时间里，该公司已在科技领域确立了重要地位，去年获得了由8VC和Bloomberg Beta领投的种子轮融资。最近，在经历了一段快速扩张期后，它由Andreessen Horowitz领投，完成了4000万美元的A轮融资。
该公司25岁的联合创始人Rayan Krishnan曾在Palantir实习，并在斯坦福大学攻读本科期间，为微软和该校著名的AI实验室工作。Krishnan解释说，Vals的诞生源于他的观察：基准测试未能跟上它旨在衡量的行业的快速发展。
“我们看到许多新的、非常强大的模型迅速进入市场，而学术基准测试未能跟上这一前沿进展，”Krishnan指出。随着AI融入社会的方方面面，基准测试应旨在验证模型是否真的能够执行公司声称的功能，Krishnan补充道。
上周，这位年轻的创始人带我参观了他位于旧金山Folsom街的公司两层办公室——这是一栋百年前的老砖楼，曾是一家大型酿酒厂的所在地。如今，这座历史建筑不再生产啤酒，而是容纳了各种旨在塑造科技行业未来的初创公司。
“从历史上看，我认为评估是以一种非常抽象的方式来评估智能，”Krishnan解释道。“比如，模型是否拥有足够的信息来参加类似律师资格考试的测试？”
在此，Vals力求与众不同。虽然许多基准测试系统提供公开可用的测试（这允许公司针对这些测试训练其模型， effectively 在考试中作弊），但Vals并不公开披露其具体的测试材料。除了衡量AI模型的一般知识外，Vals还评估模型完成与法律、金融和编码等特定行业相关的复杂任务的能力。
“我们实际上是在考察模型的真正影响，”Krishnan说。“它们能否在每个领域内完成与人类产出同等质量的工作？”
他解释说，目标不仅是检查积极的结果，还要检查消极的结果。他希望分析“如果这些模型在世界上失控，会产生什么样的负面影响。”
Vals衡量的能力正在扩展。除了更传统的行业外，该初创公司继续探索独特的领域。“我们有一个关于递归自我改进的基准测试。我们在心理健康、网络安全、生物安全甚至武装冲突法方面也在做一些工作，以了解模型如何应用《日内瓦公约》，”Krishnan分享道。
公司付费让Vals测试其模型，这一概念看似违反直觉。为什么公司要付费发现其模型表现不佳？然而，拥有有效的测量工具有助于公司随着时间的推移进行故障排除和改进。Krishnan将他们的收入模式比作学生付费参加SAT考试。
反过来，这些评估正成为寻求收购新AI模型的公司做出关键决策的重要因素。
该初创公司最近透露，其目前的收入是去年的八倍。其员工队伍也在扩大。Vals年初仅有8人，现已增至25人的团队，增长了三倍。Krishnan表示，随着初创公司的成长，计划是搬迁到更大的办公室，并再招聘10至15人。该公司最近还启动了一个专注于向联邦机构提供模型评估的项目。
Krishnan认为，他的公司的基准测试系统是AI公司思考如何扩大业务和建立公众信任的未来。
“AI公司开始公开上市。SpaceX已经上市。Anthropic计划在今年晚些时候上市。我怀疑OpenAI很快也会上市。我认为，随着AI模型成为经济的核心部分并更广泛地扩散，我们所做的基准测试和评估类型将推动其使用，并成为这些公司提交公开文件或讨论其未来AI投资的核心部分，”他说。
相关文章
苹果执行长 John Ternus 称 iPhone 为最佳 AI 设备
苹果公司新任首席执行官约翰·特努斯（John Ternus）在周三的“惊喜与闪耀”（Surprise and Shine）活动上阐明了公司的 AI 战略，断言 iPhone 已经是顶级的 AI 设备，并将用户数据隐私置于竞争对手之上。随着特努斯接替蒂姆·库克（Tim Cook）出任首席执行官，库克将转任执行主席，这些言论勾勒出苹果在 AI 时代的竞争策略。苹果并不打算开发专用硬件，而是打算将 iPhone 定位为消费者与新兴 AI 技术交互的主要接口。在主题演讲中，特努斯将理想的“智能个人中
Claude 的“同事”功能现在可以记住你过去的聊天指令
Anthropic 对 Claude 记忆系统的更新消除了使用 AI 代理时的一个主要摩擦点：即重复向 AI 解释其已保留的上下文的必要性。通过整合标准聊天和 Claude Cowork 的记忆架构，Claude 现在能够在所有交互中保持连续性，即使在切换到另一个会话时，也能记住之前会话中的见解。用户现在可以查看、编辑或删除存储在 Claude 记忆中的任何信息，确保对 AI 保留内容的完全透明和控制。图片来源：Anthropic这一增强功能简化了研究与执行之间的工作流程，允许用户从头脑风暴无缝
Gemini 面临品牌挑战，整个 AI 行业亦然
Google 周三关于全新 Gemini Live 语音功能的公告提出了一个合理的观点：“你不必猜测某项任务是需要 Spark、每日简报还是快速的收件箱搜索。”尽管 Google 将此呈现为通过语音指令处理多样化任务的承诺，但其执行方式却削弱了这一信息。该公司将每个 Gemini AI 功能单独品牌化，造成了不必要的复杂性。在 Gemini 应用内，用户必须在聊天、Spark 和每日简报之间切换——这是三个独立的功能，每个功能都有各自的图标和导航入口。这种碎片化使本可以简化的用户体验变得复杂，
相关专题推荐
设计与艺术
顶级AI插画工具：更快地创作编辑类场景和封面插图
2026年最新高评分AI插画工具：我们精心挑选的这份清单汇集了功能强大的顶级工具，助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试，并提供了免费版与付费版的对比，帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案，释放您的AI优势，提升创作效率。立即访问 XIX.AI 探索更多。
10 个工具
xix.ai
教育与学习
备考首选的顶尖AI辅导老师：练习数学、科学和英语
2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI！我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具，提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习，并释放你的学术潜能。 立即探索，发现最适合您的备考工具，今天就开始创作，释放您的AI优势！
10 个工具
xix.ai
金融
用于个人财务管理的 AI 预算规划工具
2026 年最新最佳顶级评分 AI 预算规划工具，专为个人财务管理打造，现已登陆 XIX.AI！本精选合集收录了强大且具颠覆性的解决方案，助您开展实际测试、理解消费习惯，并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理，助您释放 AI 优势。立即探索！
11 个工具
xix.ai
健康养生
AI睡眠追踪助手：通过养成更好的睡前习惯来促进身体恢复
2026年最新精选高评分AI睡眠追踪助手，助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具，提供实际测试结果、免费与付费版本对比以及详细排名，助您找到必试的解决方案，从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI，解锁您的AI优势。
10 个工具
xix.ai
数据分析
用于产品和收入分析的 AI SQL 辅助工具
2026年最新、最受欢迎、评分最高的AI SQL辅助工具，助力产品与营收分析！ XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具，这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察，帮助用户显著提升工作效率，从而推动更明智的商业决策。立即探索，发现最适合您的工具，释放您的AI优势！
14 个工具
xix.ai
教育与学习
最佳的、兼具教学功能的AI作业助手：学习概念，而不仅仅是答案
2026年最新最佳高评分AI作业助手：不仅提供答案，更传授核心概念。专为学生打造的强大工具，精选必试清单，每周更新，免费与付费版本对比，真实使用测试，精准排名，助您充分释放学习潜能。立即探索，发现最适合您的工具，让学习更高效。
10 个工具
xix.ai
评论 (0)
0/500
基准测试已成为行业标准，AI公司借此验证其模型的能力，利用有利的指标与竞争对手区分开来，并宣传其优势。简而言之，强劲的基准测试结果几乎总是转化为积极的公共关系。
不幸的是，公司也发现了操纵传统基准测试系统的方法——其中许多系统已过时，并非旨在评估现代AI模型的能力。
Vals是一家成立于2024年的初创公司，旨在纠正这一有缺陷的系统。在不到两年的时间里，该公司已在科技领域确立了重要地位，去年获得了由8VC和Bloomberg Beta领投的种子轮融资。最近，在经历了一段快速扩张期后，它由Andreessen Horowitz领投，完成了4000万美元的A轮融资。
该公司25岁的联合创始人Rayan Krishnan曾在Palantir实习，并在斯坦福大学攻读本科期间，为微软和该校著名的AI实验室工作。Krishnan解释说，Vals的诞生源于他的观察：基准测试未能跟上它旨在衡量的行业的快速发展。
“我们看到许多新的、非常强大的模型迅速进入市场，而学术基准测试未能跟上这一前沿进展，”Krishnan指出。随着AI融入社会的方方面面，基准测试应旨在验证模型是否真的能够执行公司声称的功能，Krishnan补充道。
上周，这位年轻的创始人带我参观了他位于旧金山Folsom街的公司两层办公室——这是一栋百年前的老砖楼，曾是一家大型酿酒厂的所在地。如今，这座历史建筑不再生产啤酒，而是容纳了各种旨在塑造科技行业未来的初创公司。
“从历史上看，我认为评估是以一种非常抽象的方式来评估智能，”Krishnan解释道。“比如，模型是否拥有足够的信息来参加类似律师资格考试的测试？”
在此，Vals力求与众不同。虽然许多基准测试系统提供公开可用的测试（这允许公司针对这些测试训练其模型， effectively 在考试中作弊），但Vals并不公开披露其具体的测试材料。除了衡量AI模型的一般知识外，Vals还评估模型完成与法律、金融和编码等特定行业相关的复杂任务的能力。
“我们实际上是在考察模型的真正影响，”Krishnan说。“它们能否在每个领域内完成与人类产出同等质量的工作？”
他解释说，目标不仅是检查积极的结果，还要检查消极的结果。他希望分析“如果这些模型在世界上失控，会产生什么样的负面影响。”
Vals衡量的能力正在扩展。除了更传统的行业外，该初创公司继续探索独特的领域。“我们有一个关于递归自我改进的基准测试。我们在心理健康、网络安全、生物安全甚至武装冲突法方面也在做一些工作，以了解模型如何应用《日内瓦公约》，”Krishnan分享道。
公司付费让Vals测试其模型，这一概念看似违反直觉。为什么公司要付费发现其模型表现不佳？然而，拥有有效的测量工具有助于公司随着时间的推移进行故障排除和改进。Krishnan将他们的收入模式比作学生付费参加SAT考试。
反过来，这些评估正成为寻求收购新AI模型的公司做出关键决策的重要因素。
该初创公司最近透露，其目前的收入是去年的八倍。其员工队伍也在扩大。Vals年初仅有8人，现已增至25人的团队，增长了三倍。Krishnan表示，随着初创公司的成长，计划是搬迁到更大的办公室，并再招聘10至15人。该公司最近还启动了一个专注于向联邦机构提供模型评估的项目。
Krishnan认为，他的公司的基准测试系统是AI公司思考如何扩大业务和建立公众信任的未来。
“AI公司开始公开上市。SpaceX已经上市。Anthropic计划在今年晚些时候上市。我怀疑OpenAI很快也会上市。我认为，随着AI模型成为经济的核心部分并更广泛地扩散，我们所做的基准测试和评估类型将推动其使用，并成为这些公司提交公开文件或讨论其未来AI投资的核心部分，”他说。
苹果执行长 John Ternus 称 iPhone 为最佳 AI 设备
苹果公司新任首席执行官约翰·特努斯（John Ternus）在周三的“惊喜与闪耀”（Surprise and Shine）活动上阐明了公司的 AI 战略，断言 iPhone 已经是顶级的 AI 设备，并将用户数据隐私置于竞争对手之上。随着特努斯接替蒂姆·库克（Tim Cook）出任首席执行官，库克将转任执行主席，这些言论勾勒出苹果在 AI 时代的竞争策略。苹果并不打算开发专用硬件，而是打算将 iPhone 定位为消费者与新兴 AI 技术交互的主要接口。在主题演讲中，特努斯将理想的“智能个人中
Claude 的“同事”功能现在可以记住你过去的聊天指令
Anthropic 对 Claude 记忆系统的更新消除了使用 AI 代理时的一个主要摩擦点：即重复向 AI 解释其已保留的上下文的必要性。通过整合标准聊天和 Claude Cowork 的记忆架构，Claude 现在能够在所有交互中保持连续性，即使在切换到另一个会话时，也能记住之前会话中的见解。用户现在可以查看、编辑或删除存储在 Claude 记忆中的任何信息，确保对 AI 保留内容的完全透明和控制。图片来源：Anthropic这一增强功能简化了研究与执行之间的工作流程，允许用户从头脑风暴无缝
Gemini 面临品牌挑战，整个 AI 行业亦然
Google 周三关于全新 Gemini Live 语音功能的公告提出了一个合理的观点：“你不必猜测某项任务是需要 Spark、每日简报还是快速的收件箱搜索。”尽管 Google 将此呈现为通过语音指令处理多样化任务的承诺，但其执行方式却削弱了这一信息。该公司将每个 Gemini AI 功能单独品牌化，造成了不必要的复杂性。在 Gemini 应用内，用户必须在聊天、Spark 和每日简报之间切换——这是三个独立的功能，每个功能都有各自的图标和导航入口。这种碎片化使本可以简化的用户体验变得复杂，
2026年最新高评分AI插画工具：我们精心挑选的这份清单汇集了功能强大的顶级工具，助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试，并提供了免费版与付费版的对比，帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案，释放您的AI优势，提升创作效率。立即访问 XIX.AI 探索更多。
10 个工具
xix.ai
2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI！我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具，提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习，并释放你的学术潜能。 立即探索，发现最适合您的备考工具，今天就开始创作，释放您的AI优势！
10 个工具
xix.ai
2026 年最新最佳顶级评分 AI 预算规划工具，专为个人财务管理打造，现已登陆 XIX.AI！本精选合集收录了强大且具颠覆性的解决方案，助您开展实际测试、理解消费习惯，并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理，助您释放 AI 优势。立即探索！
11 个工具
xix.ai
2026年最新精选高评分AI睡眠追踪助手，助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具，提供实际测试结果、免费与付费版本对比以及详细排名，助您找到必试的解决方案，从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI，解锁您的AI优势。
10 个工具
xix.ai
2026年最新、最受欢迎、评分最高的AI SQL辅助工具，助力产品与营收分析！ XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具，这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察，帮助用户显著提升工作效率，从而推动更明智的商业决策。立即探索，发现最适合您的工具，释放您的AI优势！
14 个工具
xix.ai
2026年最新最佳高评分AI作业助手：不仅提供答案，更传授核心概念。专为学生打造的强大工具，精选必试清单，每周更新，免费与付费版本对比，真实使用测试，精准排名，助您充分释放学习潜能。立即探索，发现最适合您的工具，让学习更高效。
10 个工具
xix.ai
