AI生成的紙張通過同行評審，Sakana聲稱，但細節是細微的

日本AI初創公司Sakana最近聲稱其AI系統AI Scientist-V2發起了浪潮，該系統生成了第一個經過同行評審的科學出版物之一。但是，在我們太興奮之前，還有一些重要的細節要考慮。

關於AI在科學中的作用的辯論正在升溫。一些研究人員認為，人工智能還沒有準備好成為“共同科學家”，而另一些研究人員則認為我們仍處於早期階段。薩卡納屬於後一組。

該公司使用AI Scientist-v2創建了一篇論文，該論文已提交給ICLR的研討會，這是一個備受尊敬的AI會議。薩卡納（Sakana）與不列顛哥倫比亞大學和牛津大學合作，向本研討會提交了三篇AI生成的論文。 AI處理了從假設到實驗，代碼，數據分析，可視化甚至標題的所有內容。

Sakana的研究科學家兼創始成員羅伯特·蘭格（Robert Lange）通過電子郵件告訴TechCrunch：“我們通過向AI提供研討會摘要和描述來產生研究思想。” “這確保了生成的論文是關於主題和適當提交的。”

ICLR研討會接受了三篇論文之一。它的重點是批評AI模型的培訓技術。但是，薩卡納（Sakana）以透明度和對ICLR公約的尊重，在發表之前撤回了該論文。

但是，讓我們暫時沒有被帶走。薩卡納（Sakana）在他們的博客文章中承認，他們的AI犯了一些“令人尷尬”的引用錯誤，例如將方法歸因於2016年的論文，而不是原始的1997年作品。

另外，該論文的審查不如其他經過同行評審的出版物那麼多。它是在最初的同行評審之後撤回的，因此未能從研討會組織者那裡獲得“元評論”，他們可能會拒絕它。

要記住的另一件事是，會議研討會通常比主要會議曲目更高。薩卡納（Sakana）在他們的博客文章中提到了這一點，並指出他們的AI基礎研究都不符合ICLR會議曲目的內部標準。

AI研究人員兼艾伯塔大學助理教授Matthew Guzdial稱Sakana的成績“有些誤導”。

他通過電子郵件說：“ Sakana的人們從一些生成的文章中選擇了論文，這意味著他們在挑選可能會進入的輸出方面正在使用人類的判斷。” “我認為這表明人類和人工智學可以有效，並不是單獨的人工智能可以創造科學進步。”

倫敦國王學院的研究員邁克·庫克（Mike Cook）專門研究AI，他質疑同行評審和講習班的嚴謹性。

他告訴TechCrunch：“像這樣的新研討會，經常會受到更多的初級研究人員的審查。” “還值得注意的是，該研討會是關於負面結果和困難的 - 很棒，我以前舉行了類似的研討會 - 但是，讓AI令人信服地寫出失敗的文章可以更容易。”

庫克對AI可以通過同行評審並不感到驚訝，因為AI擅長編寫聽起來像人類的散文。他指出，部分AI生成的論文通過期刊評論並不是什麼新鮮事物，它為科學界提出了道德問題。

AI的技術問題，例如“幻覺”的趨勢，使許多科學家謹慎使用它進行認真的工作。人們還擔心AI可能會為科學文獻增加噪音，而不是促進知識。

庫克說：“我們需要問自己[sakana的結果]是否是AI在設計和進行實驗方面的良好性，或者是否與向人類一起向人類出售想法的好處 - 我們知道AI已經很棒。” “通過同行評審和向領域貢獻知識之間存在區別。”

值得稱讚的是，他們沒有聲稱自己的人工智能可以產生開創性甚至特別新穎的科學工作。他們的目標是“研究AI生成的研究的質量”，並強調對“有關AI生成的科學規範”的需求。

該公司寫道：“關於[AI生成的]科學是否應首先判斷[AI生成的]科學，以避免對其偏見，存在困難的問題。” “展望未來，我們將繼續與研究界就該技術的狀態進行交流意見，以確保其將來不會發展成為其唯一目的是通過同行審查的情況，從而實質上破壞了科學同行審查過程的含義。”