AI生成的紙張通過同行評審，Sakana聲稱，但細節是細微的

日本AI新創公司Sakana最近聲稱其AI系統「AI Scientist-v2」生成了一篇最早的經同行評審的科學出版物，引起熱議。然而，在過於興奮之前，有一些重要細節需要考慮。

關於AI在科學中角色的爭論正日益升溫。一些研究人員認為AI尚未準備好成為「共同科學家」，而其他人則看到潛力，但承認我們仍處於早期階段。Sakana屬於後者。

該公司使用AI Scientist-v2創建了一篇論文，提交給ICLR（一個備受推崇的AI會議）的工作坊。Sakana與不列顛哥倫比亞大學和牛津大學合作，向該工作坊提交了三篇AI生成的論文。AI處理了從假設到實驗、程式碼、數據分析、可視化，甚至標題的所有內容。

「我們通過向AI提供工作坊摘要和描述來生成研究想法，」Sakana的研究科學家兼創始成員Robert Lange通過電子郵件告訴TechCrunch。「這確保了生成的論文符合主題且適合提交。」

三篇論文中有一篇被ICLR工作坊接受，該論文聚焦於批評AI模型的訓練技術。然而，Sakana在論文出版前撤回了它，理由是為了透明度和尊重ICLR的慣例。

但我們暫時不要過於激動。Sakana在他們的部落格文章中承認，其AI在引文方面犯了一些「尷尬的」錯誤，例如將某方法歸因於2016年的論文，而不是原始的1997年作品。

此外，這篇論文未經受與其他同行評審出版物同等的審查。它在初步同行評審後被撤回，因此未接受工作坊組織者的「元評審」，後者可能會拒絕它。

另一件需要注意的事情是，會議工作坊的接受率通常高於主要會議軌。Sakana在部落格文章中提到這一點，並指出其AI生成的研究均未達到ICLR會議軌的內部標準。

AI研究人員兼阿爾伯塔大學助理教授Matthew Guzdial稱Sakana的結果「有些誤導」。

「Sakana的團隊從若干生成的論文中挑選了一些，這意味著他們使用了人類判斷來選擇他們認為可能被接受的輸出，」他通過電子郵件說。「我認為這表明人類加上AI可以很有效，而不是AI單獨就能創造科學進展。」

倫敦國王學院專攻AI的研究員Mike Cook質疑了同行評審者和工作坊的嚴謹性。

「像這樣的新工作坊通常由較年輕的研究人員審查，」他告訴TechCrunch。「還值得注意的是，這個工作坊聚焦於負面結果和困難——這很好，我之前也主持過類似的工作坊——但讓AI寫出令人信服的失敗內容可以說相對容易。」

Cook對AI通過同行評審並不感到驚訝，因為AI擅長撰寫聽起來像人類的文字。他指出，部分由AI生成的論文通過期刊審查並不新鮮，這為科學界提出了倫理問題。

AI的技術問題，如其「幻覺」傾向，使許多科學家對其用於嚴肅工作持謹慎態度。還有人擔心AI可能只是為科學文獻增添噪音，而不是推進知識。

「我們需要問自己，[Sakana的]結果是關於AI在設計和執行實驗方面的能力，還是關於它在向人類推銷想法方面的能力——我們知道AI在這方面已經很出色，」Cook說。「通過同行評審與為某領域貢獻知識是有區別的。」

值得讚揚的是，Sakana並未聲稱其AI能產生突破性或特別新穎的科學工作。他們的目標是「研究AI生成研究的質量」並強調「關於AI生成科學的規範」需求。

「關於[AI生成的]科學是否應首先基於其自身價值進行評判，以避免對其的偏見，這是一個困難的問題，」該公司寫道。「未來，我們將繼續與研究社群交換意見，討論這項技術的現狀，以確保它不會在未來發展成僅以通過同行評審為唯一目的的情況，從而嚴重損害科學同行評審過程的意義。」