AI“推理”模型已通過NPR週日拼圖問題測試

每週日，NPR的Will Shortz，這位《紐約時報》填字遊戲的策劃者，透過他的「週日謎題」節目吸引了數千名聽眾。這些謎題設計上只需一般知識即可解答，但即使對資深的謎題愛好者來說，也具有相當的挑戰性。

這種複雜性使得一些專家認為，週日謎題可用於測試AI問題解決能力的極限，成為一個有價值的工具。

在一項近期研究中，來自Wellesley College、Oberlin College、德克薩斯大學奧斯汀分校、東北大學、查爾斯大學以及新創公司Cursor的研究人員，利用週日謎題中的謎語開發了一個AI基準。他們的發現揭示了推理模型的一些有趣行為，包括OpenAI的o1模型，有時會「放棄」並故意給出錯誤答案。

東北大學計算機科學教授、該研究的共同作者Arjun Guha向TechCrunch解釋，目標是創建一個任何具備一般知識的人都能理解的基準。他表示：「我們希望開發一個只需一般知識就能理解問題的基準。」

當前AI行業在基準測試方面面臨挑戰，因為許多測試聚焦於博士級別的數學和科學等高級技能，這些對大多數用戶來說並不相關。此外，即使是最近發布的基準也已接近飽和。

根據Guha的說法，週日謎題的獨特優勢在於它不依賴專業知識，且其格式能防止AI模型僅僅重複記憶的答案。他進一步說明：「我認為這些問題的難度在於，在解決問題之前很難取得實質進展——一旦解決，一切就會瞬間豁然開朗。這需要洞察力和排除法的結合。」

然而，週日謎題也有其局限性。它以美國文化為中心，且僅使用英語，且存在模型若事先見過這些問題可能「作弊」的風險。Guha安慰說，他尚未發現這方面的證據。他補充道：「每週都會發布新問題，我們可以期待最新的問題是真正未被見過的。我們打算保持基準的新鮮度，並追蹤模型性能隨時間的變化。」

研究人員的基準包含大約600個週日謎題的謎語，顯示像o1和DeepSeek的R1這樣的推理模型顯著優於其他模型。這些模型會仔細檢查自己的事實，這有助於它們避免常見錯誤。然而，這種徹底性意味著它們需要更長時間才能得出解決方案——通常多花幾秒到幾分鐘。

有趣的是，DeepSeek的R1有時會承認失敗，說「我放棄了」，然後給出一個隨機的錯誤答案——這是許多人類都能感同身受的反應。其他觀察到的奇特行為包括模型給出錯誤答案後撤回，嘗試另一個猜測後再次失敗。一些模型陷入無休止的「思考」循環，提供荒誕的解釋，或在正確回答問題後仍不必要地探索其他答案。

Guha評論R1的行為時說：「在困難問題上，R1甚至會說它感到『沮喪』。看到模型模仿人類可能說的話真是有趣。推理中的『沮喪』如何影響模型結果的質量仍有待觀察。」

當前基準的頂尖表現者是o1，得分59%，其次是最近發布的o3-mini在高「推理努力」設置下得47%。R1得分35%。研究人員計劃擴展對更多推理模型的測試，希望找出改進的領域。

Guha強調了可訪問基準的重要性，說道：「你不需要博士學位就能擅長推理，因此應該可以設計出不需要博士級知識的推理基準。更廣泛的基準讓更多研究人員能夠理解和分析結果，這可能會在未來帶來更好的解決方案。此外，隨著最先進的模型越來越多地應用於影響每個人的場景，我們相信每個人都應該能夠直觀理解這些模型的能力與局限。」