KI -Startups, die für die Verwendung von Peer Review als PR -Taktik kritisiert wurden

Ein Sturm braut sich in der akademischen Welt über die Verwendung von KI-generierten Studien auf der diesjährigen ICLR-Konferenz zusammen, einem bedeutenden Ereignis, das sich auf künstliche Intelligenz konzentriert. Drei KI-Labore, Sakana, Intology und Autoscience, haben Kontroversen ausgelöst, indem sie KI-generierte Studien für ICLR-Workshops eingereicht haben.

Sakana verfolgte einen transparenten Ansatz, informierte die ICLR-Leitung und holte die Zustimmung der Gutachter ein, bevor sie ihre KI-generierten Arbeiten einreichten. Intology und Autoscience hingegen reichten ihre Studien ohne vorherige Benachrichtigung ein, wie ein ICLR-Sprecher gegenüber TechCrunch bestätigte.

Die akademische Gemeinschaft äußerte sich lautstark in den sozialen Medien, wobei viele Intology und Autoscience dafür kritisierten, den Peer-Review-Prozess auszunutzen. Prithviraj Ammanabrolu, Assistenzprofessor an der UC San Diego, äußerte seinen Frust auf X und wies auf das Fehlen der Zustimmung der Gutachter hin, die ihre Zeit und Mühe kostenlos zur Verfügung stellen. Er forderte eine vollständige Offenlegung gegenüber den Redakteuren über die Verwendung von KI bei der Erstellung dieser Studien.

Peer-Review ist bereits eine anspruchsvolle Aufgabe, wobei eine kürzliche Nature-Umfrage ergab, dass 40 % der Akademiker zwei bis vier Stunden für die Überprüfung einer einzelnen Studie aufwenden. Die Arbeitsbelastung steigt, wie der Anstieg der Einreichungen um 41 % auf der NeurIPS-Konferenz im letzten Jahr zeigt, insgesamt 17.491 Arbeiten.

Das Problem KI-generierter Inhalte in der Wissenschaft ist nicht neu, Schätzungen deuten darauf hin, dass zwischen 6,5 % und 16,9 % der 2023 bei KI-Konferenzen eingereichten Arbeiten synthetischen Text enthielten. Die Nutzung von Peer-Review als Mittel zur Bewertung und Förderung von KI-Technologie ist jedoch eine neuere Entwicklung.

Intology prahlte auf X mit durchweg positiven Bewertungen für ihre KI-generierten Arbeiten und zitierte sogar Workshop-Gutachter, die die „cleveren Ideen“ in einer ihrer Studien lobten. Diese Selbstbetrachtung stieß bei Akademikern auf wenig Gegenliebe.

Ashwinee Panda, Postdoktorandin an der University of Maryland, kritisierte den Mangel an Respekt gegenüber menschlichen Gutachtern durch die Einreichung KI-generierter Arbeiten ohne deren Zustimmung. Panda bemerkte, dass Sakana ihren Workshop bei ICLR angesprochen hatte, sie jedoch ablehnte, und betonte die Wichtigkeit, die Zeit und Rechte der Gutachter zu respektieren.

Skepsis gegenüber dem Wert KI-generierter Arbeiten ist unter Forschern weit verbreitet. Sakana räumte ein, dass ihre KI „peinliche“ Zitierungsfehler machte und dass nur eine ihrer drei eingereichten Arbeiten den Standards der Konferenz entsprochen hätte. In einem Schritt zur Transparenz zog Sakana ihre Arbeit von ICLR zurück.

Alexander Doria, Mitbegründer des KI-Startups Pleias, schlug die Notwendigkeit einer „regulierten Firma/öffentlichen Behörde“ vor, um bezahlte, hochwertige Bewertungen von KI-generierten Studien durchzuführen. Er argumentierte, dass Forscher für ihre Zeit vollständig entschädigt werden sollten und die Wissenschaft nicht als kostenlose Ressource für KI-Bewertungen genutzt werden sollte.