OpenAI améliore ses modèles de transcription et de génération de voix

OpenAI déploie de nouveaux modèles d'IA pour la transcription et la génération de voix via son API, promettant des améliorations significatives par rapport à leurs versions antérieures. Ces mises à jour font partie de la plus grande vision "agentique" d'OpenAI, qui se concentre sur la création de systèmes autonomes capables d'effectuer des tâches indépendamment pour les utilisateurs. Bien que le terme "agent" puisse être débattu, le responsable du produit d'Openai, Olivier Guicond, le voit comme un chatbot qui peut interagir avec les clients d'une entreprise.

"Nous allons voir de plus en plus d'agents émerger dans les prochains mois", a expliqué Godment avec TechCrunch lors d'un briefing. "L'objectif primordial est d'aider les clients et les développeurs à utiliser des agents utiles, accessibles et précis."

Le dernier modèle de texte vocale d'OpenAI, surnommé "GPT-4O-MINI-TTS", vise non seulement à produire plus de discours réaliste et nuancé, mais est également plus adaptable que ses prédécesseurs. Les développeurs peuvent désormais guider le modèle en utilisant des commandes en langage naturel, telles que «parler comme un scientifique fou» ou «utiliser une voix sereine, comme un professeur de pleine conscience». Ce niveau de contrôle permet une expérience vocale plus personnalisée.

Voici un échantillon d'un «vrai style crime», une voix altérée:

Et voici un exemple de voix féminine "professionnelle":

Jeff Harris, membre de l'équipe de produits d'Openai, a souligné à TechCrunch que l'objectif est de permettre aux développeurs de personnaliser à la fois la "expérience" et le "contexte". "Dans divers scénarios, vous ne voulez pas de voix monotone", a expliqué Harris. "Par exemple, dans un paramètre de support client où la voix doit sembler apologétique pour une erreur, vous pouvez infuser cette émotion dans la voix. Nous croyons fermement que les développeurs et les utilisateurs veulent contrôler non seulement le contenu, mais la manière de la parole."

Passer aux nouvelles offres de parole d'Openai, "GPT-4O-Transcribe" et "GPT-4O-MINI-Transcribe", ces modèles sont définis pour remplacer le modèle de transcription Whisper obsolète. Formés sur une gamme diversifiée de données audio de haute qualité, ils prétendent mieux gérer la parole accentuée et variée, même dans des contextes bruyants. De plus, ces modèles sont moins sujets aux «hallucinations», un problème où Whisper inventerait parfois des mots ou des passages entiers, ajoutant des inexactitudes comme des commentaires raciaux ou des traitements médicaux fictifs aux transcriptions.

"Ces modèles montrent une amélioration significative par rapport à Whisper à cet égard", a noté Harris. "Assurer la précision du modèle est crucial pour une expérience vocale fiable, et par précision, nous voulons dire que les modèles capturent correctement les mots prononcés sans ajouter de contenu non vocal."

Cependant, les performances peuvent varier selon les langues. Les références internes d'OpenAI indiquent que GPT-4O-Transcribe, plus précis des deux, a un "taux d'erreur de mots" près de 30% pour les langues indic et dravidien comme le tamoul, le télougou, le malayalam et le kannada. Cela suggère qu'environ trois mots sur dix peuvent différer d'une transcription humaine dans ces langues.

Dans un écart par rapport à leur pratique habituelle, OpenAI ne rendra ces nouveaux modèles de transcription gratuitement disponibles. Historiquement, ils ont publié de nouvelles versions Whisper sous une licence MIT pour une utilisation commerciale. Harris a souligné que GPT-4O-Transcribe et GPT-4O-MINI-Transcribe sont nettement plus importants que le chuchotement, ce qui les rend inadaptés à une version ouverte.

"Ces modèles sont trop grands pour fonctionner sur un ordinateur portable typique comme Whisper", a ajouté Harris. "Lorsque nous publions des modèles ouvertement, nous voulons le faire de manière réfléchie, en nous assurant qu'ils sont adaptés à des besoins spécifiques. Nous considérons les appareils d'utilisateur final comme une zone de choix pour les modèles open source."

Mis à jour le 20 mars 2025, 11 h 54 PT pour clarifier la langue autour du taux d'erreur de mots et mettre à jour le tableau des résultats de référence avec une version plus récente.