AI生成的纸张通过同行评审，Sakana声称，但细节是细微的

日本人工智能初创公司Sakana最近声称其人工智能系统AI Scientist-v2生成了一篇最早通过同行评审的科学出版物，引起了广泛关注。然而，在过于兴奋之前，我们需要考虑一些重要细节。

关于人工智能在科学中的角色，争论正在升温。一些研究人员认为人工智能尚未准备好成为“共同科学家”，而另一些人则看到了潜力，但承认我们仍处于早期阶段。Sakana属于后者。

该公司使用AI Scientist-v2创建了一篇提交给ICLR（一个备受尊敬的人工智能会议）研讨会的论文。Sakana与不列颠哥伦比亚大学和牛津大学合作，向该研讨会提交了三篇人工智能生成的论文。人工智能处理了从假设到实验、代码、数据分析、可视化甚至标题的所有内容。

“我们通过向人工智能提供研讨会摘要和描述来生成研究想法，”Sakana的研究科学家兼创始成员Robert Lange通过电子邮件对TechCrunch表示。“这确保了生成的论文主题合适且适合提交。”

三篇论文中有一篇被ICLR研讨会接受。该论文聚焦于批评人工智能模型的训练技术。然而，Sakana在论文发表前撤回了它，理由是出于透明度和对ICLR惯例的尊重。

但我们先不要过于激动。Sakana在其博客文章中承认，其人工智能犯了一些“令人尴尬”的引文错误，例如将一种方法归因于2016年的论文，而非1997年的原始工作。

此外，该论文未经过与其他同行评审出版物同等的严格审查。它在初步同行评审后被撤回，因此未接受研讨会组织者的“元评审”，后者可能会拒绝它。

另一件需要注意的事情是，会议研讨会通常比主会议轨道有更高的接受率。Sakana在其博客中提到了这一点，并指出其人工智能生成的研究均未达到ICLR主会议轨道的内部标准。

阿尔伯塔大学的人工智能研究员兼助理教授Matthew Guzdial称Sakana的结果“有些误导”。

“Sakana团队从若干生成论文中挑选了一些，这意味着他们使用了人类判断来选择他们认为可能被接受的输出，”他通过电子邮件表示。“我认为这表明人类与人工智能结合可以有效，而不是人工智能独自能推动科学进步。”

伦敦国王学院专注于人工智能的研究员Mike Cook质疑了同行评审者和研讨会的严谨性。

“像这样的新研讨会通常由更年轻的研 究人员评审，”他对TechCrunch表示。“还值得注意的是，这个研讨会关注的是负面结果和困难——这很好，我之前也组织过类似的研讨会——但可以说，让人工智能令人信服地撰写失败内容可能更容易。”

Cook对人工智能通过同行评审并不感到惊讶，因为人工智能擅长撰写类似人类的文字。他指出，部分人工智能生成的论文通过期刊评审并非新鲜事，这为科学界提出了伦理问题。

人工智能的技术问题，如其“幻觉”倾向，使许多科学家对将其用于严肃工作持谨慎态度。还有一种担忧是，人工智能可能只是为科学文献增加噪音，而非推动知识进步。

“我们需要问自己，[Sakana的]结果是关于人工智能在设计和执行实验方面的能力，还是关于它在向人类推销想法方面的能力——我们知道人工智能在这方面已经很出色，”Cook说。“通过同行评审与为一个领域贡献知识是两回事。”

值得称赞的是，Sakana并未声称其人工智能能产生突破性或特别新颖的科学工作。他们的目标是“研究人工智能生成研究的质量”并强调“人工智能生成科学的规范需求”。

“关于[人工智能生成的]科学是否应首先根据其自身价值进行判断以避免偏见，这是一个难题，”该公司写道。“未来，我们将继续与研究社区交流关于这项技术现状的意见，以确保它不会发展成为未来仅以通过同行评审为唯一目的的情况，从而实质性地削弱科学同行评审过程的意义。”