AI生成的纸张通过同行评审，Sakana声称，但细节是细微的

日本AI初创公司Sakana最近声称其AI系统AI Scientist-V2发起了浪潮，该系统生成了第一个经过同行评审的科学出版物之一。但是，在我们太兴奋之前，还有一些重要的细节要考虑。

关于AI在科学中的作用的辩论正在升温。一些研究人员认为，人工智能还没有准备好成为“共同科学家”，而另一些研究人员则认为我们仍处于早期阶段。萨卡纳属于后一组。

该公司使用AI Scientist-v2创建了一篇论文，该论文已提交给ICLR的研讨会，这是一个备受尊敬的AI会议。萨卡纳（Sakana）与不列颠哥伦比亚大学和牛津大学合作，向本研讨会提交了三篇AI生成的论文。 AI处理了从假设到实验，代码，数据分析，可视化甚至标题的所有内容。

Sakana的研究科学家兼创始成员罗伯特·兰格（Robert Lange）通过电子邮件告诉TechCrunch：“我们通过向AI提供研讨会摘要和描述来产生研究思想。” “这确保了生成的论文是关于主题和适当提交的。”

ICLR研讨会接受了三篇论文之一。它的重点是批评AI模型的培训技术。但是，萨卡纳（Sakana）以透明度和对ICLR公约的尊重，在发表之前撤回了该论文。

但是，让我们暂时没有被带走。萨卡纳（Sakana）在他们的博客文章中承认，他们的AI犯了一些“令人尴尬”的引用错误，例如将方法归因于2016年的论文，而不是原始的1997年作品。

另外，该论文的审查不如其他经过同行评审的出版物那么多。它是在最初的同行评审之后撤回的，因此未能从研讨会组织者那里获得“元评论”，他们可能会拒绝它。

要记住的另一件事是，会议研讨会通常比主要会议曲目更高。萨卡纳（Sakana）在他们的博客文章中提到了这一点，并指出他们的AI基础研究都不符合ICLR会议曲目的内部标准。

AI研究人员兼艾伯塔大学助理教授Matthew Guzdial称Sakana的成绩“有些误导”。

他通过电子邮件说：“ Sakana的人们从一些生成的文章中选择了论文，这意味着他们在挑选可能会进入的输出方面正在使用人类的判断。” “我认为这表明人类和人工智学可以有效，并不是单独的人工智能可以创造科学进步。”

伦敦国王学院的研究员迈克·库克（Mike Cook）专门研究AI，他质疑同行评审和讲习班的严谨性。

他告诉TechCrunch：“像这样的新研讨会，经常会受到更多的初级研究人员的审查。” “还值得注意的是，该研讨会是关于负面结果和困难的 - 很棒，我以前举行了类似的研讨会 - 但是，让AI令人信服地写出失败的文章可以更容易。”

库克对AI可以通过同行评审并不感到惊讶，因为AI擅长编写听起来像人类的散文。他指出，部分AI生成的论文通过期刊评论并不是什么新鲜事物，它为科学界提出了道德问题。

AI的技术问题，例如“幻觉”的趋势，使许多科学家谨慎使用它进行认真的工作。人们还担心AI可能会为科学文献增加噪音，而不是促进知识。

库克说：“我们需要问自己[sakana的结果]是否是AI在设计和进行实验方面的良好性，或者是否与向人类一起向人类出售想法的好处 - 我们知道AI已经很棒。” “通过同行评审和向领域贡献知识之间存在区别。”

值得称赞的是，他们没有声称自己的人工智能可以产生开创性甚至特别新颖的科学工作。他们的目标是“研究AI生成的研究的质量”，并强调对“有关AI生成的科学规范”的需求。

该公司写道：“关于[AI生成的]科学是否应首先判断[AI生成的]科学，以避免对其偏见，存在困难的问题。” “展望未来，我们将继续与研究界就该技术的状态进行交流意见，以确保其将来不会发展成为其唯一目的是通过同行审查的情况，从而实质上破坏了科学同行审查过程的含义。”