OpenAI的o3 AI模型在基準測試中的得分低於最初暗示的水準

為什麼 AI 基準測試的差異很重要？

提到 AI 時，數字往往能說明一切——有時，這些數字並不一定完全相符。以 OpenAI 的 o3 模型為例。最初的聲稱簡直令人驚嘆：據報導，o3 可以處理超過 25% 的 notoriously tough FrontierMath 問題。作為參考，競爭對手還停留在個位數。但隨著近期的發展，受人尊敬的研究機構 Epoch AI 投下了震撼彈。他們的研究結果顯示，o3 的實際表現更接近於 10%。雖然不算差，但肯定不像 OpenAI 最初宣傳的那樣引人注目。

究竟發生了什麼？

讓我們來分解一下。OpenAI 最初的得分很可能是在最佳條件下取得的——這些條件在現實世界中可能無法完全複製。Epoch 指出，他們的測試環境可能與 OpenAI 的略有不同，甚至他們使用的 FrontierMath 版本也更新了一些。這並不是說 OpenAI 完全誤導了任何人；他們最初的聲稱與內部測試一致，但這種差異突顯了一個更大的問題。基準測試並不總是可比的。而且，讓我們面對現實，公司有動力展現最好的一面。

透明度的角色

這個情況提出了一個重要的問題：當分享結果時，AI 公司應該有多透明？雖然 OpenAI 沒有完全撒謊，但他們的訊息確立了未完全實現的期望。這是一個微妙的平衡。公司希望展示自己的進步，但也需要誠實地說明這些數字真正的意義。隨著 AI 日益融入日常生活，消費者和研究人員將會要求更清楚的答案。

業界的其他爭議

基準測試的混亂並非只有 OpenAI 面臨。AI 行業中的其他參與者也面臨類似的審查。今年一月，Epoch 在 o3 宣布前接受了 OpenAI 的未披露資金後陷入麻煩。同時，Elon Musk 的 xAI 因涉嫌調整其基準圖表以使 Grok 3 說明看起來比實際更好而受到批評。即使像 Meta 這樣的科技巨頭，最近也承認基於尚未公開的模型促銷分數。顯然，爭奪頭條新聞的比賽正在升溫——並非所有人都公平行事。

展望未來

雖然這些爭議可能會令人沮喪，但它們實際上是進步的標誌。隨著 AI 景觀的成熟，圍繞責任的討論也在增加。消費者和研究人員正在推動更大的透明度，這是一件好事。它迫使公司更加仔細地考慮如何展示他們的成就——並確保用戶不會陷入不切實際的炒作中。最終，目標不應該是操縱數字——而應該是建立真正推動該領域發展的模型。