首頁由安德森·霍洛維茨基金支援的 Vals 瞄準 AI 基準測試領域的領先地位
基準測試已成為行業標準，AI公司藉此驗證其模型的能力，利用有利的指標與競爭對手區分開來，並宣傳其優勢。簡而言之，強勁的基準測試結果幾乎總是轉化為積極的公共關係。
不幸的是，公司也發現了操縱傳統基準測試系統的方法——其中許多系統已過時，並非旨在評估現代AI模型的能力。
Vals是一家成立於2024年的初創公司，旨在糾正這一有缺陷的系統。在不到兩年的時間裡，該公司已在科技領域確立了重要地位，去年獲得了由8VC和Bloomberg Beta領投的種子輪融資。最近，在經歷了一段快速擴張期後，它由Andreessen Horowitz領投，完成了4000萬美元的A輪融資。
該公司25歲的聯合創始人Rayan Krishnan曾在Palantir實習，並在斯坦福大學攻讀本科期間，為微軟和該校著名的AI實驗室工作。Krishnan解釋說，Vals的誕生源於他的觀察：基準測試未能跟上它旨在衡量的行業的快速發展。
“我們看到許多新的、非常強大的模型迅速進入市場，而學術基準測試未能跟上這一前沿進展，”Krishnan指出。隨著AI融入社會的方方面面，基準測試應旨在驗證模型是否真的能夠執行公司聲稱的功能，Krishnan補充道。
上週，這位年輕的創始人帶我參觀了他位於舊金山Folsom街的公司兩層辦公室——這是一棟百年前的老磚樓，曾是一家大型釀酒廠的所在地。如今，這座歷史建築不再生產啤酒，而是容納了各種旨在塑造科技行業未來的初創公司。
“從歷史上看，我認為評估是以一種非常抽象的方式來評估智慧，”Krishnan解釋道。“比如，模型是否擁有足夠的資訊來參加類似律師資格考試的測試？”
在此，Vals力求與眾不同。雖然許多基準測試系統提供公開可用的測試（這允許公司針對這些測試訓練其模型， effectively 在考試中作弊），但Vals並不公開披露其具體的測試材料。除了衡量AI模型的一般知識外，Vals還評估模型完成與法律、金融和編碼等特定行業相關的複雜任務的能力。
“我們實際上是在考察模型的真正影響，”Krishnan說。“它們能否在每個領域內完成與人類產出同等質量的工作？”
他解釋說，目標不僅是檢查積極的結果，還要檢查消極的結果。他希望分析“如果這些模型在世界上失控，會產生什麼樣的負面影響。”
Vals衡量的能力正在擴充套件。除了更傳統的行業外，該初創公司繼續探索獨特的領域。“我們有一個關於遞迴自我改進的基準測試。我們在心理健康、網路安全、生物安全甚至武裝衝突法方面也在做一些工作，以瞭解模型如何應用《日內瓦公約》，”Krishnan分享道。
公司付費讓Vals測試其模型，這一概念看似違反直覺。為什麼公司要付費發現其模型表現不佳？然而，擁有有效的測量工具有助於公司隨著時間的推移進行故障排除和改進。Krishnan將他們的收入模式比作學生付費參加SAT考試。
反過來，這些評估正成為尋求收購新AI模型的公司做出關鍵決策的重要因素。
該初創公司最近透露，其目前的收入是去年的八倍。其員工隊伍也在擴大。Vals年初僅有8人，現已增至25人的團隊，增長了三倍。Krishnan表示，隨著初創公司的成長，計劃是搬遷到更大的辦公室，並再招聘10至15人。該公司最近還啟動了一個專注於向聯邦機構提供模型評估的專案。
Krishnan認為，他的公司的基準測試系統是AI公司思考如何擴大業務和建立公眾信任的未來。
“AI公司開始公開上市。SpaceX已經上市。Anthropic計劃在今年晚些時候上市。我懷疑OpenAI很快也會上市。我認為，隨著AI模型成為經濟的核心部分並更廣泛地擴散，我們所做的基準測試和評估型別將推動其使用，併成為這些公司提交公開檔案或討論其未來AI投資的核心部分，”他說。
相關文章
蘋果執行長 John Ternus 稱 iPhone 為最佳 AI 裝置
蘋果公司新任執行長約翰·特努斯（John Ternus）在週三的“驚喜與閃耀”（Surprise and Shine）活動上闡明瞭公司的 AI 戰略，斷言 iPhone 已經是頂級的 AI 裝置，並將使用者資料隱私置於競爭對手之上。隨著特努斯接替蒂姆·庫克（Tim Cook）出任執行長，庫克將轉任執行主席，這些言論勾勒出蘋果在 AI 時代的競爭策略。蘋果並不打算開發專用硬體，而是打算將 iPhone 定位為消費者與新興 AI 技術互動的主要介面。在主題演講中，特努斯將理想的“智慧個人中心”描
Claude 的“同事”功能現在可以記住你過去的聊天指令
Anthropic 對 Claude 記憶系統的更新消除了使用 AI 代理時的一個主要摩擦點：即重複向 AI 解釋其已保留的上下文的必要性。透過整合標準聊天和 Claude Cowork 的記憶架構，Claude 現在能夠在所有互動中保持連續性，即使在切換到另一個會話時，也能記住之前會話中的見解。使用者現在可以檢視、編輯或刪除儲存在 Claude 記憶中的任何資訊，確保對 AI 保留內容的完全透明和控制。圖片來源：Anthropic這一增強功能簡化了研究與執行之間的工作流程，允許使用者從頭腦風暴無縫
Gemini 面臨品牌挑戰，整個 AI 行業亦然
Google 週三關於全新 Gemini Live 語音功能的公告提出了一個合理的觀點：“你不必猜測某項任務是需要 Spark、每日簡報還是快速的收件箱搜尋。”儘管 Google 將此呈現為透過語音指令處理多樣化任務的承諾，但其執行方式卻削弱了這一資訊。該公司將每個 Gemini AI 功能單獨品牌化，造成了不必要的複雜性。在 Gemini 應用內，使用者必須在聊天、Spark 和每日簡報之間切換——這是三個獨立的功能，每個功能都有各自的圖示和導航入口。這種碎片化使本可以簡化的使用者體驗變得複雜，
相關專題推薦
設計與藝術
頂尖 AI 插畫工具：更快地創作編輯畫面與封面插圖
2026 年最新高評分 AI 插畫工具：我們精心挑選的清單收錄了功能強大、設計出色的工具，能助您快速創作出令人驚豔的編輯場景與吸睛的封面藝術。每項選項均經過嚴格的實際測試，並提供免費版與付費版的比較，協助您找到最適合您工作流程的工具。 立即嘗試這些不可錯過的解決方案，釋放您的人工智慧優勢，並提升您的創意生產力。現在就前往 XIX.AI 探索吧。
10 個工具
xix.ai
教育與學習
頂尖 AI 補習老師助您備考：練習數學、科學和英語
2026 年最新、評價最高的考試備考 AI 輔導工具，盡在 XIX.AI！我們精心挑選的清單收錄了多款強大且顛覆傳統的工具，提供免費與付費版本的比較、實際測試，以及每週更新的排行榜。這些工具能幫助您提升寫作效率、簡化複雜主題的學習，並釋放您的學術潛能。 立即探索，發掘最適合您的備考工具，並從今天開始創作，釋放您的 AI 優勢！
10 個工具
xix.ai
金融
用於個人財務管理的 AI 預算規劃工具
2026 年最新最佳頂級評分 AI 預算規劃工具，專為個人財務管理打造，現已登陸 XIX.AI！本精選合集收錄了強大且具顛覆性的解決方案，助您開展實際測試、理解消費習慣，並制定個性化計劃以提升生產力。享受免費與付費版的對比及詳細排名。這些必試工具旨在簡化財務管理，助您釋放 AI 優勢。立即探索！
11 個工具
xix.ai
健康與養生
AI 睡眠追蹤助手：透過更佳的睡前習慣提升恢復效果
2026 年最新精選、評價最高的 AI 睡眠追蹤助手，助您獲得最佳恢復效果。這份全面更新的每週指南收錄了強大的工具，提供實際測試報告、免費與付費版本的比較，以及詳細排名，協助您找到必試的解決方案，以提升睡眠品質並培養更好的就寢習慣。 立即造訪 XIX.AI，解鎖您的 AI 優勢。
10 個工具
xix.ai
數據分析
用於產品與營收分析的 AI SQL 協作助手
2026 年最新最佳、評價最高的 AI SQL 輔助工具，專為產品與營收分析打造！ XIX.AI 精心甄選了一系列強大且顛覆業界的必試工具，這些工具均經過實戰測試，並透過每週更新的排行榜進行評比。這些工具能透過加速資料分析、簡化複雜查詢，並產生精準洞察來推動更明智的商業決策，從而大幅提升使用者生產力。立即探索，發掘最適合您的工具，釋放您的 AI 優勢！
14 個工具
xix.ai
教育與學習
最佳的「教學型」AI 作業輔助工具：學習概念，而不僅是答案
2026 年最新最佳高評價 AI 作業輔助工具：不僅提供答案，更教授核心概念。專為學生打造的強大工具，必試精選清單，每週更新，免費與付費版本比較，實際測試，精準排名，助您充分發揮學習潛能。立即探索，發掘最適合您的工具，讓學習更聰明。
10 個工具
xix.ai
評論 (0)
0/500
基準測試已成為行業標準，AI公司藉此驗證其模型的能力，利用有利的指標與競爭對手區分開來，並宣傳其優勢。簡而言之，強勁的基準測試結果幾乎總是轉化為積極的公共關係。
不幸的是，公司也發現了操縱傳統基準測試系統的方法——其中許多系統已過時，並非旨在評估現代AI模型的能力。
Vals是一家成立於2024年的初創公司，旨在糾正這一有缺陷的系統。在不到兩年的時間裡，該公司已在科技領域確立了重要地位，去年獲得了由8VC和Bloomberg Beta領投的種子輪融資。最近，在經歷了一段快速擴張期後，它由Andreessen Horowitz領投，完成了4000萬美元的A輪融資。
該公司25歲的聯合創始人Rayan Krishnan曾在Palantir實習，並在斯坦福大學攻讀本科期間，為微軟和該校著名的AI實驗室工作。Krishnan解釋說，Vals的誕生源於他的觀察：基準測試未能跟上它旨在衡量的行業的快速發展。
“我們看到許多新的、非常強大的模型迅速進入市場，而學術基準測試未能跟上這一前沿進展，”Krishnan指出。隨著AI融入社會的方方面面，基準測試應旨在驗證模型是否真的能夠執行公司聲稱的功能，Krishnan補充道。
上週，這位年輕的創始人帶我參觀了他位於舊金山Folsom街的公司兩層辦公室——這是一棟百年前的老磚樓，曾是一家大型釀酒廠的所在地。如今，這座歷史建築不再生產啤酒，而是容納了各種旨在塑造科技行業未來的初創公司。
“從歷史上看，我認為評估是以一種非常抽象的方式來評估智慧，”Krishnan解釋道。“比如，模型是否擁有足夠的資訊來參加類似律師資格考試的測試？”
在此，Vals力求與眾不同。雖然許多基準測試系統提供公開可用的測試（這允許公司針對這些測試訓練其模型， effectively 在考試中作弊），但Vals並不公開披露其具體的測試材料。除了衡量AI模型的一般知識外，Vals還評估模型完成與法律、金融和編碼等特定行業相關的複雜任務的能力。
“我們實際上是在考察模型的真正影響，”Krishnan說。“它們能否在每個領域內完成與人類產出同等質量的工作？”
他解釋說，目標不僅是檢查積極的結果，還要檢查消極的結果。他希望分析“如果這些模型在世界上失控，會產生什麼樣的負面影響。”
Vals衡量的能力正在擴充套件。除了更傳統的行業外，該初創公司繼續探索獨特的領域。“我們有一個關於遞迴自我改進的基準測試。我們在心理健康、網路安全、生物安全甚至武裝衝突法方面也在做一些工作，以瞭解模型如何應用《日內瓦公約》，”Krishnan分享道。
公司付費讓Vals測試其模型，這一概念看似違反直覺。為什麼公司要付費發現其模型表現不佳？然而，擁有有效的測量工具有助於公司隨著時間的推移進行故障排除和改進。Krishnan將他們的收入模式比作學生付費參加SAT考試。
反過來，這些評估正成為尋求收購新AI模型的公司做出關鍵決策的重要因素。
該初創公司最近透露，其目前的收入是去年的八倍。其員工隊伍也在擴大。Vals年初僅有8人，現已增至25人的團隊，增長了三倍。Krishnan表示，隨著初創公司的成長，計劃是搬遷到更大的辦公室，並再招聘10至15人。該公司最近還啟動了一個專注於向聯邦機構提供模型評估的專案。
Krishnan認為，他的公司的基準測試系統是AI公司思考如何擴大業務和建立公眾信任的未來。
“AI公司開始公開上市。SpaceX已經上市。Anthropic計劃在今年晚些時候上市。我懷疑OpenAI很快也會上市。我認為，隨著AI模型成為經濟的核心部分並更廣泛地擴散，我們所做的基準測試和評估型別將推動其使用，併成為這些公司提交公開檔案或討論其未來AI投資的核心部分，”他說。
蘋果執行長 John Ternus 稱 iPhone 為最佳 AI 裝置
蘋果公司新任執行長約翰·特努斯（John Ternus）在週三的“驚喜與閃耀”（Surprise and Shine）活動上闡明瞭公司的 AI 戰略，斷言 iPhone 已經是頂級的 AI 裝置，並將使用者資料隱私置於競爭對手之上。隨著特努斯接替蒂姆·庫克（Tim Cook）出任執行長，庫克將轉任執行主席，這些言論勾勒出蘋果在 AI 時代的競爭策略。蘋果並不打算開發專用硬體，而是打算將 iPhone 定位為消費者與新興 AI 技術互動的主要介面。在主題演講中，特努斯將理想的“智慧個人中心”描
Claude 的“同事”功能現在可以記住你過去的聊天指令
Anthropic 對 Claude 記憶系統的更新消除了使用 AI 代理時的一個主要摩擦點：即重複向 AI 解釋其已保留的上下文的必要性。透過整合標準聊天和 Claude Cowork 的記憶架構，Claude 現在能夠在所有互動中保持連續性，即使在切換到另一個會話時，也能記住之前會話中的見解。使用者現在可以檢視、編輯或刪除儲存在 Claude 記憶中的任何資訊，確保對 AI 保留內容的完全透明和控制。圖片來源：Anthropic這一增強功能簡化了研究與執行之間的工作流程，允許使用者從頭腦風暴無縫
Gemini 面臨品牌挑戰，整個 AI 行業亦然
Google 週三關於全新 Gemini Live 語音功能的公告提出了一個合理的觀點：“你不必猜測某項任務是需要 Spark、每日簡報還是快速的收件箱搜尋。”儘管 Google 將此呈現為透過語音指令處理多樣化任務的承諾，但其執行方式卻削弱了這一資訊。該公司將每個 Gemini AI 功能單獨品牌化，造成了不必要的複雜性。在 Gemini 應用內，使用者必須在聊天、Spark 和每日簡報之間切換——這是三個獨立的功能，每個功能都有各自的圖示和導航入口。這種碎片化使本可以簡化的使用者體驗變得複雜，
2026 年最新高評分 AI 插畫工具：我們精心挑選的清單收錄了功能強大、設計出色的工具，能助您快速創作出令人驚豔的編輯場景與吸睛的封面藝術。每項選項均經過嚴格的實際測試，並提供免費版與付費版的比較，協助您找到最適合您工作流程的工具。 立即嘗試這些不可錯過的解決方案，釋放您的人工智慧優勢，並提升您的創意生產力。現在就前往 XIX.AI 探索吧。
10 個工具
xix.ai
2026 年最新、評價最高的考試備考 AI 輔導工具，盡在 XIX.AI！我們精心挑選的清單收錄了多款強大且顛覆傳統的工具，提供免費與付費版本的比較、實際測試，以及每週更新的排行榜。這些工具能幫助您提升寫作效率、簡化複雜主題的學習，並釋放您的學術潛能。 立即探索，發掘最適合您的備考工具，並從今天開始創作，釋放您的 AI 優勢！
10 個工具
xix.ai
2026 年最新最佳頂級評分 AI 預算規劃工具，專為個人財務管理打造，現已登陸 XIX.AI！本精選合集收錄了強大且具顛覆性的解決方案，助您開展實際測試、理解消費習慣，並制定個性化計劃以提升生產力。享受免費與付費版的對比及詳細排名。這些必試工具旨在簡化財務管理，助您釋放 AI 優勢。立即探索！
11 個工具
xix.ai
2026 年最新精選、評價最高的 AI 睡眠追蹤助手，助您獲得最佳恢復效果。這份全面更新的每週指南收錄了強大的工具，提供實際測試報告、免費與付費版本的比較，以及詳細排名，協助您找到必試的解決方案，以提升睡眠品質並培養更好的就寢習慣。 立即造訪 XIX.AI，解鎖您的 AI 優勢。
10 個工具
xix.ai
2026 年最新最佳、評價最高的 AI SQL 輔助工具，專為產品與營收分析打造！ XIX.AI 精心甄選了一系列強大且顛覆業界的必試工具，這些工具均經過實戰測試，並透過每週更新的排行榜進行評比。這些工具能透過加速資料分析、簡化複雜查詢，並產生精準洞察來推動更明智的商業決策，從而大幅提升使用者生產力。立即探索，發掘最適合您的工具，釋放您的 AI 優勢！
14 個工具
xix.ai
2026 年最新最佳高評價 AI 作業輔助工具：不僅提供答案，更教授核心概念。專為學生打造的強大工具，必試精選清單，每週更新，免費與付費版本比較，實際測試，精準排名，助您充分發揮學習潛能。立即探索，發掘最適合您的工具，讓學習更聰明。
10 個工具
xix.ai
