ElevenLabs dévoile un nouveau modèle de parole

ElevenLabs, une startup d'IA ayant récemment obtenu un impressionnant financement de 180 millions de dollars, est réputée pour ses compétences en génération audio. Mais maintenant, ils se lancent audacieusement dans un nouveau domaine en dévoilant leur premier modèle autonome de conversion parole-texte, appelé Scribe.

Évaluée à 3,3 milliards de dollars, ElevenLabs est devenue une référence pour de nombreuses entreprises ayant besoin de services de synthèse vocale, grâce à leur vaste collection de voix. Désormais, ils se concentrent sur la détection de la parole, avec l'ambition de rivaliser avec des grands noms comme Gladia, Speechmatics, AssemblyAI, Deepgram et les modèles Whisper d'OpenAI.

Scribe ne plaisante pas : il prend en charge plus de 99 langues dès le départ. ElevenLabs affirme qu'il offre une excellente précision pour plus de 25 langues, avec un taux d'erreur de mots inférieur à 5 %. Cela inclut l'anglais (avec une précision revendiquée de 97 %), le français, l'allemand, l'hindi, l'indonésien, le japonais, le kannada, le malayalam, le polonais, le portugais, l'espagnol et le vietnamien, entre autres. Les autres langues se répartissent en différentes catégories de précision : élevée (taux d'erreur de mots de 5 % à 10 %), bonne (10 % à 20 %) et modérée (25 % à 50 %).

L'entreprise affirme que Scribe surpasse Google Gemini 2.0 Flash et Whisper Large V3 dans plusieurs langues, selon les tests de référence FLEURS & Common Voice.

ElevenLabs a en réalité développé la partie conversion parole-texte pour leur plateforme d'agent conversationnel IA l'année dernière, mais Scribe est leur première tentative de modèle autonome de détection de la parole. Lors d'une discussion avec TechCrunch le mois dernier, le PDG Mati Staniszewski a révélé leurs plans pour renforcer leur technologie de détection de la parole.

"Nous voulons améliorer notre compréhension de ce que vous dites dans une conversation. Nous ne nous contentons plus de générer du contenu ; nous évoluons vers la compréhension et la transcription de la parole," a déclaré Staniszewski. "Beaucoup de gens pensent que la conversion parole-texte est dépassée, mais pour de nombreuses langues, c'est encore assez approximatif. Nous pensons pouvoir faire mieux car nous avons des équipes internes pour étiqueter les données et nous fournir des retours rapides."

Scribe propose également des fonctionnalités intéressantes, comme une diarisation intelligente des locuteurs pour identifier qui parle, des horodatages au niveau des mots pour des sous-titres précis, et un étiquetage automatique des événements sonores comme les rires du public. De plus, ElevenLabs permet aux clients de transcrire directement le contenu vidéo pour ajouter des sous-titres ou des légendes dans leur studio.

Pour l'instant, Scribe ne fonctionne qu'avec des audios préenregistrés. Mais pas d'inquiétude, l'entreprise indique qu'elle travaille sur une version en temps réel à faible latence pour bientôt. Donc, il n'est pas encore prêt pour les transcriptions de réunions ou la prise de notes vocales.

ElevenLabs facture 0,40 $ par heure d'audio transcrit pour Scribe. C'est un prix compétitif, mais certains concurrents proposent des tarifs plus bas pour les transcriptions audio, avec quelques fonctionnalités différentes incluses.