KI ist nicht bereit wie Co-Wissenschaftler, sagen Experten

Google hat kürzlich seinen „KI-Mitwissenschaftler“ vorgestellt, ein KI-Tool, das Wissenschaftlern helfen soll, Hypothesen und Forschungspläne zu generieren. Das Unternehmen bezeichnete es als bahnbrechend für die Entdeckung neuen Wissens, aber Experten sind skeptisch hinsichtlich seiner tatsächlichen Auswirkungen.

„Dieses vorläufige Tool, obwohl interessant, scheint nicht besonders ernsthaft genutzt zu werden“, sagte Sara Beery, eine Forscherin für Computer Vision am MIT, in einem Interview mit TechCrunch. „Ich bin mir nicht sicher, ob es in der wissenschaftlichen Gemeinschaft eine Nachfrage nach diesem Typ von Hypothesengenerierungssystem gibt.“

Google ist nur der neueste Technologieriese, der behauptet, dass KI die wissenschaftliche Forschung revolutionieren wird, insbesondere in datenintensiven Bereichen wie der Biomedizin. OpenAI-CEO Sam Altman schrieb Anfang dieses Jahres in einem Essay, dass „superintelligente“ KI die wissenschaftliche Entdeckung und Innovation massiv beschleunigen könnte. Ähnlich hat Anthropic-CEO Dario Amodei vorhergesagt, dass KI helfen könnte, Heilmittel für die meisten Krebsarten zu entwickeln.

Viele Forscher sind jedoch der Meinung, dass die heutigen KI-Tools diesen ambitionierten Behauptungen nicht gerecht werden. Sie argumentieren, dass Anwendungen wie Googles KI-Mitwissenschaftler mehr Hype als Substanz bieten und es an empirischen Daten fehlt, um die Versprechen zu untermauern.

Zum Beispiel rühmte sich Google in einem Blogbeitrag über das Potenzial des KI-Mitwissenschaftlers bei der Umwidmung von Medikamenten für akute myeloische Leukämie, eine Art von Blutkrebs, der das Knochenmark betrifft. Doch die Ergebnisse waren so vage, dass „kein seriöser Wissenschaftler sie ernst nehmen würde“, so Favia Dubyk, eine Pathologin am Northwest Medical Center-Tucson in Arizona.

„Es könnte ein guter Ausgangspunkt für Forscher sein, aber der Mangel an Details ist besorgniserregend und lässt mich daran zweifeln“, sagte Dubyk gegenüber TechCrunch. „Der Mangel an bereitgestellten Informationen macht es wirklich schwer zu verstehen, ob dies wirklich hilfreich sein kann.“

Es ist nicht das erste Mal, dass Google von der wissenschaftlichen Gemeinschaft kritisiert wird, weil es einen KI-Durchbruch ohne ausreichende Details zur Reproduktion der Ergebnisse beworben hat.

Bereits im Jahr 2020 behauptete Google, dass eines seiner KI-Systeme, das zum Erkennen von Brusttumoren trainiert wurde, menschliche Radiologen übertrifft. Doch Forscher von Harvard und Stanford veröffentlichten eine Widerlegung in Nature und argumentierten, dass der Mangel an detaillierten Methoden und Code in Googles Forschung „ihren wissenschaftlichen Wert untergräbt“.

Wissenschaftler haben Google auch dafür kritisiert, die Einschränkungen seiner KI-Tools in Bereichen wie der Materialtechnik herunterzuspielen. Im Jahr 2023 behauptete das Unternehmen, dass rund 40 „neue Materialien“ mit Hilfe seines KI-Systems GNoME synthetisiert wurden. Eine unabhängige Analyse stellte jedoch fest, dass keines dieser Materialien tatsächlich neu war.

„Wir werden die Stärken und Grenzen von Tools wie Googles ‚Mitwissenschaftler‘ erst wirklich verstehen, wenn sie einer strengen, unabhängigen Bewertung in verschiedenen wissenschaftlichen Disziplinen unterzogen werden“, sagte Ashique KhudaBukhsh, Assistenzprofessor für Softwaretechnik am Rochester Institute of Technology, in einem Interview mit TechCrunch. „KI funktioniert oft gut in kontrollierten Umgebungen, kann aber bei großflächiger Anwendung scheitern.“

Komplexe Prozesse

Die Entwicklung von KI-Tools zur Unterstützung wissenschaftlicher Entdeckungen ist schwierig, da es schwer ist, alle Faktoren vorherzusehen, die Probleme verursachen könnten. KI kann nützlich sein, um eine große Liste von Möglichkeiten zu durchforsten, aber es ist weniger klar, ob sie die Art von kreativer Problemlösung bewältigen kann, die zu großen Durchbrüchen führt.

„Wir haben in der Geschichte gesehen, dass einige der wichtigsten wissenschaftlichen Fortschritte, wie die Entwicklung von mRNA-Impfstoffen, durch menschliche Intuition und Ausdauer trotz Skepsis vorangetrieben wurden“, sagte KhudaBukhsh. „KI, wie sie heute existiert, ist möglicherweise nicht gut geeignet, dies nachzuahmen.“

Lana Sinapayen, eine KI-Forscherin bei Sony Computer Science Laboratories in Japan, glaubt, dass Tools wie Googles KI-Mitwissenschaftler auf die falschen Aspekte wissenschaftlicher Arbeit abzielen.

Sinapayen sieht Wert in KI, die mühsame Aufgaben wie das Zusammenfassen neuer akademischer Literatur oder das Formatieren von Förderanträgen automatisiert. Aber sie argumentiert, dass es wenig Nachfrage nach einem KI-Mitwissenschaftler gibt, der Hypothesen generiert, eine Aufgabe, die viele Forscher intellektuell bereichernd finden.

„Für viele Wissenschaftler, mich eingeschlossen, ist das Generieren von Hypothesen der unterhaltsamste Teil der Arbeit“, sagte Sinapayen gegenüber TechCrunch. „Warum sollte ich meinen Spaß an einen Computer auslagern und dann nur die harte Arbeit selbst erledigen? Generell scheinen viele generative KI-Forscher falsch zu verstehen, warum Menschen tun, was sie tun, und wir enden mit Vorschlägen für Produkte, die genau den Teil automatisieren, der uns Freude bereitet.“

Beery wies darauf hin, dass der schwierigste Teil des wissenschaftlichen Prozesses oft das Entwerfen und Durchführen von Studien ist, um Hypothesen zu testen, was aktuelle KI-Systeme nur schwer bewältigen. KI kann keine physischen Experimente durchführen und hat oft Probleme mit Aufgaben, bei denen Daten knapp sind.

„Die meisten Wissenschaften können nicht vollständig virtuell durchgeführt werden – es gibt häufig einen bedeutenden physischen Bestandteil des wissenschaftlichen Prozesses, wie das Sammeln neuer Daten und das Durchführen von Experimenten im Labor“, sagte Beery. „Eine große Einschränkung von Systemen wie Googles KI-Mitwissenschaftler im Vergleich zum tatsächlichen wissenschaftlichen Prozess, die definitiv ihre Nutzbarkeit einschränkt, ist der Kontext über das Labor und den Forscher, der das System nutzt, sowie deren spezifische Forschungsziele, ihre bisherige Arbeit, ihr Können und die Ressourcen, die ihnen zur Verfügung stehen.“

KI-Risiken

Die technischen Einschränkungen und Risiken von KI, wie ihre Neigung zu „Halluzinationen“ oder das Generieren falscher Informationen, machen Wissenschaftler vorsichtig, sich bei ernsthafter Arbeit darauf zu verlassen.

KhudaBukhsh befürchtet, dass KI-Tools die wissenschaftliche Literatur mit Rauschen fluten könnten, anstatt den Fortschritt zu fördern.

Es passiert bereits. Eine aktuelle Studie ergab, dass KI-generierte „Pseudowissenschaft“ Google Scholar, Googles kostenlose Suchmaschine für wissenschaftliche Literatur, überflutet.

„KI-generierte Forschung, wenn sie nicht sorgfältig überwacht wird, könnte das wissenschaftliche Feld mit minderwertigen oder sogar irreführenden Studien überschwemmen und den Peer-Review-Prozess überfordern“, sagte KhudaBukhsh. „Ein überforderter Peer-Review-Prozess ist bereits eine Herausforderung in Bereichen wie der Informatik, wo Top-Konferenzen einen exponentiellen Anstieg an Einreichungen verzeichnen.“

Selbst gut durchdachte Studien könnten durch fehlerhaftes Verhalten von KI kompromittiert werden, warnte Sinapayen. Während sie die Idee eines Tools schätzt, das bei der Literaturrecherche und -synthese helfen könnte, würde sie heutiger KI diese Aufgabe nicht zuverlässig überlassen.

„Das sind Dinge, die verschiedene bestehende Tools angeblich tun, aber das sind keine Aufgaben, die ich persönlich der aktuellen KI überlassen würde“, sagte Sinapayen. Sie äußerte auch Bedenken darüber, wie KI-Systeme trainiert werden und wie viel Energie sie verbrauchen. „Selbst wenn alle ethischen Probleme gelöst wären, ist die aktuelle KI einfach nicht zuverlässig genug, um meine Arbeit auf ihren Ergebnissen aufzubauen.“