Sesame dévoile le modèle de base de base derrière l'assistant virtuel viral Maya

Sesame, l'entreprise innovante en IA à l'origine de l'assistant vocal Maya, d'un réalisme frappant, vient de faire sensation en publiant le modèle de base qui alimente ses capacités. Nommé CSM-1B, ce modèle compte 1 milliard de paramètres, un terme qui désigne les composants individuels constituant le modèle. Publié sous une licence Apache 2.0, il est ouvert à une utilisation commerciale avec des restrictions minimales, comme annoncé sur la plateforme de développement d'IA Hugging Face.

CSM-1B fonctionne en convertissant les entrées textuelles et audio en « codes audio RVQ ». RVQ signifie « quantification vectorielle résiduelle », une méthode qui transforme l'audio en jetons discrets, ou codes. Cette technique est également utilisée dans d'autres technologies audio d'IA de pointe, telles que SoundStream de Google et Encodec de Meta. À la base, CSM-1B s'appuie sur un modèle de la famille Llama de Meta, combiné à un composant « décodeur » audio. Une version spécialisée de CSM-1B, après un réglage fin, alimente la voix de Maya, selon Sesame.

En décrivant le modèle comme un « modèle de génération de base » sur ses dépôts Hugging Face et GitHub, Sesame note qu'il est conçu pour produire une variété de voix mais n'a pas été affiné pour une voix spécifique. Bien qu'il ait une certaine capacité à gérer des langues non anglophones grâce à une « contamination des données » dans son ensemble d'entraînement, ses performances dans ce domaine sont probablement médiocres. Fait intéressant, Sesame a gardé les détails des données d'entraînement secrets, ce qui nous rend curieux de savoir ce qui a été utilisé pour construire ce modèle.

Un aspect qui suscite des interrogations est le manque de garde-fous robustes. Sesame fonctionne sur un système d'honneur, encourageant simplement les utilisateurs et les développeurs à éviter d'utiliser le modèle pour reproduire la voix de quelqu'un sans permission, produire du contenu trompeur comme des fausses nouvelles, ou se livrer à des activités « nuisibles » ou « malveillantes ». J'ai personnellement testé la démo sur Hugging Face, et en une minute, j'avais cloné ma voix. Il était facile de générer un discours sur n'importe quel sujet, même des sujets sensibles comme les élections et la propagande russe.

Consumer Reports a récemment souligné le manque préoccupant de garde-fous « significatifs » dans de nombreux outils de clonage vocal alimentés par l'IA, ce qui pourrait entraîner des fraudes ou des abus potentiels. Sesame, co-fondée par Brendan Iribe, co-créateur d'Oculus, a attiré l'attention du public fin février avec sa technologie d'assistant qui échappe presque à la vallée de l'étrange. Maya et l'autre assistant de Sesame, Miles, présentent des caractéristiques humaines réalistes telles que prendre des respirations, parler avec des disfluences, et être interrompables en plein discours, à l'image du Voice Mode d'OpenAI.

Financièrement, Sesame a obtenu un financement non divulgué de poids lourds comme Andreessen Horowitz, Spark Capital et Matrix Partners. Au-delà des assistants vocaux, l'entreprise se lance également dans le prototypage de lunettes IA destinées à être portées toute la journée, équipées de leurs modèles personnalisés. Cette initiative montre l'ambition de Sesame de repousser les limites de la technologie IA dans notre vie quotidienne.