Maison
Xiaomi dévoile MiMo-V2-TTS, son modèle d'IA développé en interne pour la synthèse vocale tenant compte des dialectes et des émotions
Xiaomi a officiellement lancé son modèle de synthèse vocale à grande échelle développé en interne, MiMo-V2-TTS, qui représente une avancée majeure en matière de génération vocale hautement contrôlable et expressive. S'appuyant sur l'Audio Tokenizer propriétaire de Xiaomi et sur un cadre de modélisation conjointe parole-texte à livres de codes multiples, ce modèle tire parti d'un pré-entraînement intensif sur des centaines de millions d'heures de données vocales pour permettre des ajustements précis, allant du style général aux nuances émotionnelles les plus subtiles. Contrairement aux systèmes TTS conventionnels, MiMo-V2-TTS est capable d'effectuer des changements de ton et des variations émotionnelles au sein d'une même phrase, imitant ainsi de près le rythme naturel de la parole humaine et prenant en charge la synthèse de chansons avec une hauteur et un rythme précis. Sur le plan technique, Xiaomi a intégré un apprentissage par renforcement multidimensionnel afin d'équilibrer la stabilité et l'expressivité du résultat. Le modèle reconnaît intelligemment les indices textuels tels que la ponctuation, les marqueurs d'intonation et les indicateurs d'accentuation, les traduisant en expressions vocales appropriées sans nécessiter d'annotation manuelle supplémentaire. De plus, le modèle fait preuve d'une forte adaptabilité interrégionale, prenant en charge de multiples dialectes, notamment le mandarin du nord-est, le sichuanais, le henanais, le cantonais et les accents taïwanais, et est capable de performances vocales adaptées à chaque personnage.
Étape clé de la feuille de route technologique vocale de Xiaomi, MiMo-V2-TTS élargira encore la prise en charge multilingue et s'intégrera étroitement aux capacités de compréhension multimodale de MiMo-V2-Omni. Cette évolution, de la synthèse vocale autonome vers une perception et une expression multimodales coordonnées, marque un tournant pour les agents IA : ils passent d'une interaction sémantique basique à une interaction homme-machine plus personnalisée et plus riche en émotions, améliorant considérablement l'expérience utilisateur dans des applications telles que les cabines intelligentes et les maisons connectées.

Article connexe
Stripe va acquérir OpenRouter alors que le routage basé sur des modèles d'IA prend de l'ampleur
Stripe a conclu un accord en vue d’acquérir OpenRouter, une plateforme de routage de modèles d’IA qui permet aux développeurs d’accéder à des centaines de modèles via une interface unique. Cette acqui
Barrett Zoph, ancien chercheur chez OpenAI, revient chez Google pour contribuer au développement de Gemini
Barret Zoph, qui avait auparavant quitté brusquement l’entreprise pour rejoindre OpenAI en raison d’un désaccord avec Miriam Mularati, PDG de Thinking Machines Lab, a une nouvelle fois changé d’employ
Comment Recursive Intelligence a levé 335 millions de dollars en 4 mois, avec une valorisation de 4 milliards de dollars
Les cofondatrices de la start-up Ricursive Intelligence semblaient destinées à devenir cofondatrices.Anna Goldie, PDG, et Azalia Mirhoseini, directrice technique, sont si connues dans le milieu de l’I
Recommandations de sujets spéciaux liés
commentaires (3)
Xiaomi's new MiMo-V2-TTS looks promising for dialect support, but I'm still skeptical about how well it handles complex emotional shifts in real-time conversations. 🤔 The tech is impressive, yet the uncanny valley effect might linger for some users. Let's see if it can truly mimic the subtle nuances of human speech without sounding robotic after long usage. 🎙️✨
Wait, so Xiaomi's new model can synthesize voice with dialects AND emotions? That's either incredibly useful for localization or terrifying for deepfakes. I wonder how they handle tonal languages like Chinese... also, rip voice actors? 😬
Xiaomi a officiellement lancé son modèle de synthèse vocale à grande échelle développé en interne, MiMo-V2-TTS, qui représente une avancée majeure en matière de génération vocale hautement contrôlable et expressive. S'appuyant sur l'Audio Tokenizer propriétaire de Xiaomi et sur un cadre de modélisation conjointe parole-texte à livres de codes multiples, ce modèle tire parti d'un pré-entraînement intensif sur des centaines de millions d'heures de données vocales pour permettre des ajustements précis, allant du style général aux nuances émotionnelles les plus subtiles. Contrairement aux systèmes TTS conventionnels, MiMo-V2-TTS est capable d'effectuer des changements de ton et des variations émotionnelles au sein d'une même phrase, imitant ainsi de près le rythme naturel de la parole humaine et prenant en charge la synthèse de chansons avec une hauteur et un rythme précis. Sur le plan technique, Xiaomi a intégré un apprentissage par renforcement multidimensionnel afin d'équilibrer la stabilité et l'expressivité du résultat. Le modèle reconnaît intelligemment les indices textuels tels que la ponctuation, les marqueurs d'intonation et les indicateurs d'accentuation, les traduisant en expressions vocales appropriées sans nécessiter d'annotation manuelle supplémentaire. De plus, le modèle fait preuve d'une forte adaptabilité interrégionale, prenant en charge de multiples dialectes, notamment le mandarin du nord-est, le sichuanais, le henanais, le cantonais et les accents taïwanais, et est capable de performances vocales adaptées à chaque personnage.
Étape clé de la feuille de route technologique vocale de Xiaomi, MiMo-V2-TTS élargira encore la prise en charge multilingue et s'intégrera étroitement aux capacités de compréhension multimodale de MiMo-V2-Omni. Cette évolution, de la synthèse vocale autonome vers une perception et une expression multimodales coordonnées, marque un tournant pour les agents IA : ils passent d'une interaction sémantique basique à une interaction homme-machine plus personnalisée et plus riche en émotions, améliorant considérablement l'expérience utilisateur dans des applications telles que les cabines intelligentes et les maisons connectées.

Stripe va acquérir OpenRouter alors que le routage basé sur des modèles d'IA prend de l'ampleur
Stripe a conclu un accord en vue d’acquérir OpenRouter, une plateforme de routage de modèles d’IA qui permet aux développeurs d’accéder à des centaines de modèles via une interface unique. Cette acqui
Barrett Zoph, ancien chercheur chez OpenAI, revient chez Google pour contribuer au développement de Gemini
Barret Zoph, qui avait auparavant quitté brusquement l’entreprise pour rejoindre OpenAI en raison d’un désaccord avec Miriam Mularati, PDG de Thinking Machines Lab, a une nouvelle fois changé d’employ
Comment Recursive Intelligence a levé 335 millions de dollars en 4 mois, avec une valorisation de 4 milliards de dollars
Les cofondatrices de la start-up Ricursive Intelligence semblaient destinées à devenir cofondatrices.Anna Goldie, PDG, et Azalia Mirhoseini, directrice technique, sont si connues dans le milieu de l’I
Xiaomi's new MiMo-V2-TTS looks promising for dialect support, but I'm still skeptical about how well it handles complex emotional shifts in real-time conversations. 🤔 The tech is impressive, yet the uncanny valley effect might linger for some users. Let's see if it can truly mimic the subtle nuances of human speech without sounding robotic after long usage. 🎙️✨
Wait, so Xiaomi's new model can synthesize voice with dialects AND emotions? That's either incredibly useful for localization or terrifying for deepfakes. I wonder how they handle tonal languages like Chinese... also, rip voice actors? 😬











