Überlegene Alternative zu OpenAs KI -Transkriptionsinstrument: Weniger Halluzination, mehr Genauigkeit

Whisper von OpenAI, ein KI-gestütztes Spracherkennungs- und Transkriptionstool, das 2022 veröffentlicht wurde, erzeugt häufig Halluzinationen oder erfundene Informationen, was Bedenken hinsichtlich seines Potenzials zur Schadensverursachung in kritischen Bereichen aufwirft.

Ein Forscher an der University of Michigan entdeckte Halluzinationen in 80 % der Audiodatei-Transkripte von öffentlichen Sitzungen, die er überprüfte. Ebenso berichtete ein Ingenieur, der 100 Stunden Whisper-Transkripte analysierte, von Halluzinationen in etwa der Hälfte davon, und ein weiterer Entwickler fand sie in fast jedem von ihm erstellten Transkript, insgesamt 26.000 Fälle.

Während kleinere Fehler in der Transkription häufig sind, stellten Experten fest, dass das Ausmaß der Halluzinationen bei Whisper unter KI-Transkriptionstools beispiellos ist. OpenAI behauptet, dass Whisper, ein Open-Source-Neuralnetzwerk, eine nahezu menschliche Genauigkeit bei der englischen Spracherkennung erreicht. Es wird in verschiedenen Branchen für Aufgaben wie das Transkribieren von Interviews, das Übersetzen von Inhalten und das Erstellen von Video-Untertiteln weit verbreitet eingesetzt.

Die weitverbreitete Nutzung von Whisper könnte zur Verbreitung erfundener Texte, falsch zugeordneter Zitate und anderer Fehlinformationen über verschiedene Plattformen führen, wobei die Auswirkungen je nach Art des ursprünglichen Inhalts variieren. Whisper ist in einige Versionen von ChatGPT integriert, wird in Callcentern, Sprachassistenten und Cloud-Plattformen von Oracle und Microsoft verwendet und wurde letzten Monat über 4,2 Millionen Mal von HuggingFace heruntergeladen.

Besonders besorgniserregend ist die zunehmende Nutzung von Whisper-basierten Tools durch Mediziner zur Transkription von Patientengesprächen. Die AP sprach mit über einem Dutzend Ingenieuren, Forschern und Entwicklern, die bestätigten, dass Whisper häufig Phrasen und ganze Sätze erfindet, manchmal einschließlich rassistischer Kommentare, gewalttätiger Rhetorik und sogar erfundener medizinischer Behandlungen.

„Niemand will eine Fehldiagnose“, betonte Alondra Nelson, Professorin am Institute for Advanced Study.

Obwohl OpenAI davon abrät, Whisper in risikoreichen Bereichen wie Entscheidungskontexten einzusetzen, in denen Genauigkeitsfehler zu erheblichen Problemen führen können, macht die beworbene Genauigkeit des Tools es für verschiedene Branchen attraktiv, die ihre Abläufe optimieren wollen, wobei potenzielle Risiken oft übersehen werden.

Das Problem beschränkt sich nicht auf lange oder schlecht aufgezeichnete Audiodateien; Forscher fanden Halluzinationen sogar in kurzen, klaren Audioaufnahmen. Sie schätzen, dass dies zu Zehntausenden fehlerhafter Transkripte bei Millionen von Aufnahmen führen könnte. Christian Vogler, Direktor des Technology Access Program der Gallaudet University und selbst taub, wies darauf hin, dass taube oder schwerhörige Personen diese Halluzinationen „verborgen inmitten all dieses anderen Textes“ übersehen könnten.

Diese Erkenntnisse beleuchten ein breiteres Problem in der KI-Branche: den Wettlauf, Produkte aus Profitgründen auf den Markt zu bringen, insbesondere in Abwesenheit umfassender KI-Regulierungen in den USA. Dies ist besonders relevant angesichts der Debatten über den gewinnorientierten vs. gemeinnützigen Status von OpenAI und kürzlicher Führungsstatements, die KI-Risiken herunterspielen.

Ein Sprecher von OpenAI teilte der AP mit, dass das Unternehmen kontinuierlich daran arbeitet, Halluzinationen zu reduzieren, und die Erkenntnisse der Forscher schätzt, indem es Feedback in Modell-Updates einfließt.

In der Zwischenzeit empfehlen wir, Otter.ai in Betracht zu ziehen, ein zuverlässiges KI-Transkriptionstool, das von Journalisten geschätzt wird und kürzlich Unterstützung für sechs neue Sprachen hinzugefügt hat. Ein langjähriger Nutzer berichtete von einer halluzinierten Statistik in einer neuen KI-Zusammenfassungsfunktion, der Fehler erschien jedoch nicht in der Transkription selbst. Otter.ai empfiehlt Nutzern, Transkripte auf Genauigkeit zu überprüfen und zu bearbeiten, insbesondere für kritische Aufgaben, da die Genauigkeit aufgrund von Faktoren wie Hintergrundgeräuschen, Akzenten und der Komplexität von Gesprächen variieren kann.

Für iPhone-Nutzer bietet iOS 18.1 mit Apple Intelligence jetzt KI-gestützte Anrufaufzeichnung und Transkription, obwohl Jason Hiner, Chefredakteur von ZDNET, es als „noch in Arbeit“ beschreibt.

OpenAI kündigte kürzlich Pläne an, seinen 250 Millionen ChatGPT Plus-Nutzern weitere Tools bereitzustellen.