AIに生成された紙がピアレビューに合格する、とサカナは主張していますが、詳細は微妙です

日本のAIスタートアップSakanaは最近、そのAIシステムであるAI Scientist-V2が最初のピアレビューされた科学出版物の1つを生成したと主張することで波を起こしました。ただし、興奮する前に考慮すべき重要な詳細がいくつかあります。

科学におけるAIの役割に関する議論は激化です。一部の研究者は、AIが「共同科学者」になる準備ができていないと考えていますが、他の研究者は潜在能力を見ていますが、私たちがまだ初期段階にあることを認識しています。サカナは後者のグループに分類されます。

同社はAI Scientist-V2を使用して、尊敬されるAI会議であるICLRのワークショップに提出された論文を作成しました。サカナはブリティッシュコロンビア大学とオックスフォード大学と協力して、このワークショップに3つのAIが生成した論文を提出しました。 AIは、仮説から実験、コード、データ分析、視覚化、さらにはタイトルまで、すべてを処理しました。

「ワークショップの要約と説明をAIに提供することで研究のアイデアを生み出しました」と、Sakanaの研究科学者であり創設メンバーであるRobert LangeはTechCrunchに電子メールで語りました。 「これにより、生成された論文がトピックと適切な提出物に関するものであることが保証されました。」

3つの論文の1つは、ICLRワークショップで受け入れられました。 AIモデルのトレーニングテクニックの批判に焦点を当てました。しかし、Sakanaは、透明性とICLR条約の尊重を引用して、公開される前に論文を撤回しました。

しかし、まだ夢中になっていないようにしましょう。 Sakanaはブログの投稿で、AIが1997年の元の作品の代わりに2016年の論文にメソッドを帰属させるなど、「恥ずかしい」引用エラーを行ったことを認めました。

また、この論文は、他のピアレビューされた出版物ほど精査されていませんでした。最初のピアレビューの後に撤回されたため、ワークショップの主催者から「メタレビュー」を取得しませんでした。

心に留めておくべきもう1つのことは、会議のワークショップがメインカンファレンストラックよりも高い受け入れ率を持っていることが多いことです。 Sakanaはブログの投稿でこれについて言及し、AIに生成された研究のどれもICLRカンファレンストラックの内部基準を満たしていないことに注意しました。

アルバータ大学のAI研究者であり助教授であるマシュー・グズディアルは、サカナの結果を「少し誤解を招く」と呼びました。

「サカナの人々は、いくつかの生成されたものから論文を選択しました。つまり、彼らが入ると思った出力を選ぶという点で人間の判断を使用していたことを意味します」と彼は電子メールで言いました。 「これが示すと思うのは、人間とAIが効果的であり、AIだけが科学的な進歩を生み出すことではないということです。」

AIを専門とするキングスカレッジロンドンの研究員であるマイククックは、ピアレビュアーとワークショップの厳格さに疑問を呈しました。

「このような新しいワークショップは、より多くのジュニア研究者によってしばしばレビューされます」と彼はTechCrunchに語った。 「このワークショップは否定的な結果と困難に関するものであることも注目に値します。これは素晴らしいことです。以前も同様のワークショップを実行していますが、AIに失敗について説得力を持って書くのは間違いなく簡単です。」

AIが人間の驚異的な散文を書くのが得意であることを考えると、AIがピアレビューに合格できることにクックは驚かなかった。彼は、ジャーナルのレビューを渡すAIが部分的に生成された論文を渡すことは新しいものではなく、科学コミュニティに倫理的な問題を提起すると指摘しました。

AIの技術的な問題は、「幻覚」する傾向のように、多くの科学者が真剣な仕事のためにそれを使用することに慎重にします。また、AIが知識を進めるのではなく、科学文献にノイズを追加できるという恐怖もあります。

「[Sakanaの]結果は、AIが実験の設計と実施にどれほど優れているか、または人間にアイデアを販売するのがどれほど良いかについてのことであるかどうかを自問する必要があります。 「ピアレビューを渡すことと、知識を分野に貢献することには違いがあります。」

サカナの功績として、彼らは彼らのAIが画期的な、または特に新しい科学的研究を生み出すことができると主張していません。彼らの目標は、「AIが生成された研究の質を研究する」ことであり、「AIが生成された科学に関する規範」の必要性を強調することでした。

「[AIに生成された]科学が、それに対するバイアスを避けるために、最初にそれ自体のメリットで判断されるべきかどうかについては難しい質問があります」と会社は書いています。 「今後、私たちはこの技術の状態に関する研究コミュニティと意見を交換し続け、将来の状況に成長しないことを保証し、唯一の目的がピアレビューに合格することであり、それによって科学的ピアレビュープロセスの意味を大幅に損なうことです。」