OpenAI的o3 AI模型在基準測試中的得分低於最初暗示的水準

為什麼人工智慧的基準差異很重要？

談到人工智能，數字往往能說明一切--有時候，這些數字加起來並不完全吻合。以 OpenAI 的 o3 模型為例。最初的聲稱簡直令人瞠目：據報，o3 可以處理超過 25% 難度極高的 FrontierMath 問題。在當時的情況下，競爭對手只能處理低個位數的問題。但快進到最近的發展，Epoch AI（一個受人尊敬的研究機構）對這種說法提出了質疑。他們的研究結果顯示，o3 的實際表現徘徊在 10% 左右。還不錯，但肯定不是 OpenAI 最初所吹捧的頭條數字。

到底發生了什麼事？

我們來分析一下。OpenAI最初的得分很可能是在最佳條件下取得的--這些條件在現實世界中可能無法完全複製。Epoch 指出，他們的測試環境可能與 OpenAI 的略有不同，甚至他們使用的 FrontierMath 版本也較新。這並不是說 OpenAI 徹底誤導了任何人；他們最初的聲稱與內部測試一致，但這個差異突顯了一個更廣泛的問題。基準並不總是蘋果對蘋果的比較。而且讓我們面對現實吧，公司都有誘因要把自己最好的一面展現出來。

透明度的作用

這種情況帶出了一個重要的問題：AI 公司在分享結果時應該有多透明？雖然 OpenAI 並沒有徹底說謊，但他們的訊息確實讓人產生期望，而這些期望並沒有完全達成。這是一個微妙的平衡。公司想要展示他們的進步，但也需要誠實地說明這些數字的真正意義。隨著人工智能逐漸融入日常生活，消費者和研究人員都會要求更清楚的答案。

業界其他爭議

Benchmarking 的失誤並非 OpenAI 所獨有。人工智能領域的其他廠商也面臨類似的審查。早在 1 月份，Epoch 就因為在 o3 宣佈之前接受了 OpenAI 未公開的資金而身陷水深火熱之中。與此同時，Elon Musk 的 xAI 因為涉嫌調整他們的基準圖表，讓 Grok 3 看起來比實際表現更好而受到抨擊。即使是科技巨頭之一的 Meta，最近也承認根據一個未公開的模型來推廣分數。顯而易見，主宰頭條新聞的競賽正在升溫，而且並非每個人都能公平競爭。

展望未來

雖然這些爭議看似令人沮喪，但實際上卻是進步的跡象。隨著人工智慧領域的成熟，圍繞責任的討論也日趨成熟。消費者和研究人員正在推動提高透明度，這是一件好事。這能迫使公司在呈現成就時更加深思熟慮，也能確保使用者不會被不切實際的炒作所迷惑。歸根結柢，我們的目標不應該是玩弄數字遊戲，而應該是建立能真正推動該領域發展的模型。