AI-generiertes Papier passt Peer Review, Sakana behauptet, jedoch sind Details nuanciert

Das japanische KI-Startup Sakana hat kürzlich Wellen gemacht, indem er behauptete, dass sein KI-System, der AI-Wissenschaftler-V2, eine der ersten wissenschaftlichen Veröffentlichungen erzeugt hat. Es gibt jedoch einige wichtige Details zu berücksichtigen, bevor wir zu aufgeregt sind.

Die Debatte über die Rolle von AI in der Wissenschaft erhitzt sich. Einige Forscher glauben, dass KI nicht bereit ist, ein "Co-Wissenschaftler" zu sein, während andere das Potenzial sehen, aber erkennen, dass wir noch in den frühen Stadien sind. Sakana fällt in die letztere Gruppe.

Das Unternehmen verwendete das AI-Wissenschaftler-V2, um ein Papier zu erstellen, das einem Workshop bei ICLR, einer angesehenen KI-Konferenz, übermittelt wurde. Sakana arbeitete mit der University of British Columbia und der University of Oxford zusammen, um diesen Workshop drei A-generierte Papiere einzureichen. Die KI bearbeitete alles, von Hypothesen über Experimente, Code, Datenanalyse, Visualisierungen und sogar die Titel.

"Wir haben Forschungsideen generiert, indem wir der KI den Workshop -Zusammenfassung und Beschreibung zur Verfügung gestellt haben", sagte Robert Lange, Forschungswissenschaftler und Gründungsmitglied bei Sakana, gegenüber TechCrunch per E -Mail. "Dies stellte sicher, dass die generierten Papiere zu Themen und geeigneten Einreichungen standen."

Eine der drei Papiere wurde vom ICLR -Workshop akzeptiert. Es konzentrierte sich darauf, Trainingstechniken für KI -Modelle zu kritisieren. Sakana zog das Papier jedoch zurück, bevor es veröffentlicht werden konnte, unter Berufung auf Transparenz und Respekt für ICLR -Konventionen.

Aber lassen Sie uns noch nicht weggetragen. Sakana gab in ihrem Blog -Beitrag zu, dass ihre KI einige "peinliche" Zitierfehler gemacht hat, z.

Außerdem wurde das Papier nicht so sehr überprüft wie andere von Experten begutachtete Veröffentlichungen. Es wurde nach der ersten Peer-Bewertung zurückgezogen, sodass es keine "Meta-Review" von den Workshop-Organisatoren erhielt, die es möglicherweise abgelehnt haben.

Eine andere Sache, die Sie beachten sollten, ist, dass Konferenzworkshops häufig höhere Akzeptanzraten haben als die Hauptstrecke der Konferenz. Sakana erwähnte dies in ihrem Blog-Beitrag und stellte fest, dass keiner ihrer A-generierten Studien ihre internen Standards für die ICLR-Konferenzstrecke erfüllte.

Matthew Guzdial, AI -Forscher und Assistenzprofessor an der Universität von Alberta, bezeichnete Sakanas Ergebnisse als "ein bisschen irreführend".

"Die Sakana -Leute haben die Papiere aus einer Reihe von generierten ausgewählt, was bedeutet, dass sie das menschliche Urteilsvermögen für die Auswahl der Ausgaben verwendeten, von denen sie dachten, sie könnten einsteigen", sagte er per E -Mail. "Ich denke, das zeigt, dass Menschen plus KI effektiv sein können, nicht, dass KI allein wissenschaftliche Fortschritte erzielen kann."

Mike Cook, ein auf AI spezialisierter Research am King's College London, stellte die Strenge der Peer -Rezensenten und der Workshop in Frage.

"Neue Workshops wie diese werden oft von mehr Junior -Forschern überprüft", sagte er gegenüber TechCrunch. "Es ist auch erwähnenswert, dass es in diesem Workshop um negative Ergebnisse und Schwierigkeiten geht - was großartig ist. Ich habe schon einmal einen ähnlichen Workshop geführt -, aber es ist wohl einfacher, eine KI dazu zu bringen, über einen überzeugenden Fehler zu schreiben."

Cook war nicht überrascht, dass eine KI Peer Review bestehen konnte, da KI gut darin ist, menschlich klingende Prosa zu schreiben. Er wies darauf hin, dass teilweise generierte Papiere, die die Überprüfung des Journalüberprüfungen nicht neu passen, nicht neu und auf ethische Fragen für die wissenschaftliche Gemeinschaft aufwirft.

Die technischen Probleme von AI, wie die Tendenz, "Halluzination" zu "halluzinieren", machen viele Wissenschaftler vorsichtig, wenn sie für ernsthafte Arbeiten verwendet werden. Es besteht auch die Angst, dass KI der wissenschaftlichen Literatur nur Lärm verleihen könnte, anstatt das Wissen voranzutreiben.

"Wir müssen uns fragen, ob es bei [Sakanas] Ergebnis darum geht, wie gut KI beim Entwerfen und Durchführen von Experimenten ist oder ob es darum geht, wie gut es darin besteht, Ideen an Menschen zu verkaufen - von denen wir wissen, dass sie KI bereits großartig sind", sagte Cook. "Es gibt einen Unterschied zwischen der Überprüfung der Peer -Überprüfung und dem beitragenden Wissen in ein Feld."

Zu Sakanas Ehre behaupten sie nicht, dass ihre KI bahnbrechende oder sogar besonders neuartige wissenschaftliche Arbeit erzeugen kann. Ihr Ziel war es, "die Qualität der A-generierten Forschung zu untersuchen" und die Notwendigkeit von "Normen in Bezug auf die Wissenschaft von AI-Erzeugen" hervorzuheben.

"Es gibt schwierige Fragen darüber, ob die Wissenschaft von [Ai-Generated] zuerst nach eigenem Ermessen beurteilt werden sollte, um eine Verzerrung dagegen zu vermeiden", schrieb das Unternehmen. "In Zukunft werden wir weiterhin die Meinungen mit der Forschungsgemeinschaft in den Stand dieser Technologie austauschen, um sicherzustellen, dass sie sich in Zukunft nicht zu einer Situation entwickelt, in der sein einziger Zweck darin besteht, die Peer -Review zu bestehen und damit die Bedeutung des wissenschaftlichen Peer -Review -Prozesses erheblich zu untergraben."