AI-generiertes Papier passt Peer Review, Sakana behauptet, jedoch sind Details nuanciert

Die japanische KI-Startup Sakana hat kürzlich für Aufsehen gesorgt, indem sie behauptete, dass ihr KI-System, The AI Scientist-v2, eine der ersten peer-reviewed wissenschaftlichen Publikationen erstellt hat. Es gibt jedoch einige wichtige Details zu beachten, bevor wir uns zu sehr begeistern.

Die Debatte über die Rolle von KI in der Wissenschaft wird immer heißer. Einige Forscher glauben, dass KI noch nicht bereit ist, ein „Mitwissenschaftler“ zu sein, während andere Potenzial sehen, aber erkennen, dass wir uns noch in den Anfängen befinden. Sakana gehört zur letzteren Gruppe.

Das Unternehmen nutzte The AI Scientist-v2, um einen Artikel zu erstellen, der bei einem Workshop auf der ICLR, einer angesehenen KI-Konferenz, eingereicht wurde. Sakana arbeitete mit der University of British Columbia und der University of Oxford zusammen, um drei KI-generierte Artikel für diesen Workshop einzureichen. Die KI übernahm alles, von Hypothesen über Experimente, Code, Datenanalyse, Visualisierungen bis hin zu den Titeln.

„Wir haben Forschungsideen generiert, indem wir der KI den Workshop-Abstract und die Beschreibung zur Verfügung gestellt haben“, sagte Robert Lange, Forschungsmitarbeiter und Gründungsmitglied bei Sakana, per E-Mail gegenüber TechCrunch. „Dies stellte sicher, dass die generierten Artikel thematisch passend und geeignete Einreichungen waren.“

Einer der drei Artikel wurde vom ICLR-Workshop angenommen. Er konzentrierte sich auf die Kritik an Trainingstechniken für KI-Modelle. Sakana zog den Artikel jedoch zurück, bevor er veröffentlicht werden konnte, unter Berufung auf Transparenz und Respekt vor den ICLR-Konventionen.

Aber lassen wir uns noch nicht zu sehr mitreißen. Sakana gab in ihrem Blogbeitrag zu, dass ihre KI einige „peinliche“ Zitierfehler machte, wie etwa eine Methode einem Artikel von 2016 zuzuschreiben statt dem ursprünglichen Werk von 1997.

Außerdem wurde der Artikel nicht so gründlich geprüft wie andere peer-reviewed Publikationen. Er wurde nach der ersten Begutachtung zurückgezogen, sodass er keine „Meta-Begutachtung“ von den Workshop-Organisatoren erhielt, die ihn möglicherweise abgelehnt hätten.

Ein weiterer Punkt, den man im Auge behalten sollte, ist, dass Konferenz-Workshops oft höhere Akzeptanzraten haben als der Hauptkonferenztrack. Sakana erwähnte dies in ihrem Blogbeitrag und stellte fest, dass keiner ihrer KI-generierten Studien ihren internen Standards für den ICLR-Konferenztrack entsprach.

Matthew Guzdial, ein KI-Forscher und Assistenzprofessor an der University of Alberta, nannte die Ergebnisse von Sakana „etwas irreführend“.

„Die Leute bei Sakana haben die Artikel aus einer Anzahl generierter ausgewählt, was bedeutet, dass sie menschliches Urteilsvermögen nutzten, um Ausgaben auszuwählen, von denen sie dachten, dass sie angenommen werden könnten“, sagte er per E-Mail. „Das zeigt meiner Meinung nach, dass Menschen plus KI effektiv sein können, nicht dass KI allein wissenschaftlichen Fortschritt erzeugen kann.“

Mike Cook, ein Forschungsstipendiat am King's College London, spezialisiert auf KI, stellte die Strenge der Gutachter und des Workshops infrage.

„Neue Workshops wie dieser werden oft von jüngeren Forschern begutachtet“, sagte er gegenüber TechCrunch. „Es ist auch erwähnenswert, dass dieser Workshop sich mit negativen Ergebnissen und Schwierigkeiten befasst – was großartig ist, ich habe schon einmal einen ähnlichen Workshop geleitet – aber es ist wohl einfacher, eine KI dazu zu bringen, über einen Misserfolg überzeugend zu schreiben.“

Cook war nicht überrascht, dass eine KI die Peer-Review bestehen konnte, da KI gut darin ist, menschenähnliche Texte zu schreiben. Er wies darauf hin, dass teilweise KI-generierte Artikel, die die Begutachtung von Fachzeitschriften bestehen, nicht neu sind und ethische Fragen für die wissenschaftliche Gemeinschaft aufwerfen.

Die technischen Probleme von KI, wie ihre Neigung zu „Halluzinationen“, machen viele Wissenschaftler vorsichtig, sie für ernsthafte Arbeiten zu nutzen. Es gibt auch die Befürchtung, dass KI nur Rauschen in die wissenschaftliche Literatur einbringen könnte, anstatt Wissen voranzutreiben.

„Wir müssen uns fragen, ob [Sakanas] Ergebnis darauf hinweist, wie gut KI Experimente entwirft und durchführt, oder ob es darum geht, wie gut sie Ideen an Menschen verkauft – wovon wir wissen, dass KI bereits hervorragend darin ist“, sagte Cook. „Es gibt einen Unterschied zwischen dem Bestehen der Peer-Review und dem Beitrag von Wissen zu einem Fachgebiet.“

Zum Verdienst von Sakana sei gesagt, dass sie nicht behaupten, ihre KI könne bahnbrechende oder besonders neuartige wissenschaftliche Arbeiten produzieren. Ihr Ziel war es, „die Qualität KI-generierter Forschung zu untersuchen“ und die Notwendigkeit von „Normen für KI-generierte Wissenschaft“ hervorzuheben.

„Es gibt schwierige Fragen, ob [KI-generierte] Wissenschaft zunächst nach ihren eigenen Meriten beurteilt werden sollte, um Vorurteile dagegen zu vermeiden“, schrieb das Unternehmen. „In Zukunft werden wir weiterhin Meinungen mit der Forschungsgemeinschaft über den Stand dieser Technologie austauschen, um sicherzustellen, dass sie sich in Zukunft nicht zu einer Situation entwickelt, in der ihr einziger Zweck darin besteht, die Peer-Review zu bestehen, wodurch die Bedeutung des wissenschaftlichen Peer-Review-Prozesses erheblich untergraben wird.“