OpenAI verbessert seine Transkriptions- und Sprach-generierende KI-Modelle

OpenAI setzt neue KI -Modelle für die Transkription und Sprachgenerierung über seine API aus und verspricht signifikante Verbesserungen gegenüber ihren früheren Versionen. Diese Updates sind Teil des größeren "Agenten" -Visions von OpenAI, das sich auf die Erstellung autonomer Systeme konzentriert, die Aufgaben unabhängig für Benutzer ausführen können. Während der Begriff "Agent" diskutiert werden kann, sieht Openais Leiter des Produkts Olivier Godement ihn als Chatbot an, der mit den Kunden eines Unternehmens interagieren kann.

"Wir werden in den kommenden Monaten immer mehr Agenten auftauchen", teilte Godement während eines Briefings mit TechCrunch. "Das übergeordnete Ziel ist es, Kunden und Entwicklern bei der Nutzung von Agenten zu unterstützen, die nützlich, zugänglich und präzise sind."

Das neueste Text-zu-Sprache-Modell von OpenAI, genannt "GPT-4O-Mini-TTS", zielt nicht nur darauf ab, eine lebensechtere und nuanciertere Sprache zu produzieren, sondern auch anpassungsfähiger als seine Vorgänger. Entwickler können das Modell nun mit natürlichen Sprachbefehlen wie "Sprechen Sie wie ein verrückter Wissenschaftler" oder "eine ruhige Stimme wie ein Achtsamkeitslehrer" leiten. Diese Kontrolle ermöglicht ein personalisierteres Spracherlebnis.

Hier ist eine Stichprobe einer "wahren Kriminalitätsstil", verwitterte Stimme:

Und hier ist ein Beispiel für eine weibliche "professionelle" Stimme:

Jeff Harris, ein Mitglied des Produktteams von OpenAI, betonte TechCrunch, dass das Ziel darin besteht, Entwicklern sowohl die "Erfahrung" als auch "Kontext" anzupassen. "In verschiedenen Szenarien wollen Sie keine eintönige Stimme", erklärte Harris. "Zum Beispiel können Sie in einer Kundenunterstützungsumgebung, in der die Stimme für einen Fehler entschuldigt, diese Emotionen in die Stimme einfließen lassen. Wir glauben fest daran, dass Entwickler und Benutzer nicht nur den Inhalt, sondern auch die Art der Sprache kontrollieren möchten."

Diese Modelle wechseln zu OpenAIs neuen Speech-to-Text-Angeboten "GPT-4O-Transcribe" und "GPT-4O-Mini-Trancribe" und ersetzen das veraltete Flütertranskriptionsmodell. Ausgebildet auf einer Vielzahl hochwertiger Audiodaten, behaupten sie, auch in lauten Einstellungen eine bessere akzentuierte und vielfältige Sprache zu behandeln. Darüber hinaus sind diese Modelle weniger anfällig für "Halluzinationen", ein Problem, bei dem Whisper manchmal Wörter oder ganze Passagen erfinden und Ungenauigkeiten wie rassistischer Kommentar oder fiktive medizinische Behandlungen für Transkripte hinzufügen.

"Diese Modelle zeigen in dieser Hinsicht eine signifikante Verbesserung gegenüber Whisper", bemerkte Harris. "Sicherstellen, dass die Genauigkeit der Modellgenauigkeit für eine zuverlässige Spracherfahrung von entscheidender Bedeutung ist, und unter Genauigkeit meinen wir die Modelle korrekt die gesprochenen Wörter erfassen, ohne stimmhafte Inhalte hinzuzufügen."

Die Leistung kann jedoch über die Sprachen hinweg variieren. Die internen Benchmarks von OpenAI zeigen, dass GPT-4O-transkribe, je präziser der beiden, eine "Wortfehlerrate" von 30% für IND-Sprachen und dravidische Sprachen wie Tamil, Telugu, Malayalam und Kannada aufweist. Dies deutet darauf hin, dass etwa drei von zehn Wörtern von einer menschlichen Transkription in diesen Sprachen unterscheiden können.

In einer Abkehr von ihrer üblichen Praxis wird OpenAI diese neuen Transkriptionsmodelle nicht frei verfügbar machen. In der Vergangenheit haben sie neue Flüsterversionen unter einer MIT -Lizenz für die kommerzielle Nutzung veröffentlicht. Harris wies darauf hin, dass GPT-4O-transkribe und GPT-4O-Mini-Trancribe deutlich größer sind als Flüsterteile, was sie für die offene Freigabe ungeeignet macht.

"Diese Modelle sind zu groß, um auf einem typischen Laptop wie Whisper zu laufen", fügte Harris hinzu. "Wenn wir Modelle offen veröffentlichen, möchten wir es nachdenklich tun und sicherstellen, dass sie auf bestimmte Anforderungen zugeschnitten sind. Wir sehen Endbenutzergeräte als Hauptbereich für Open-Source-Modelle."

Aktualisiert am 20. März 2025, 11:54 Uhr PT, um die Sprache um die Wortfehlerrate zu klären und das Benchmark -Ergebnisdiagramm mit einer neueren Version zu aktualisieren.