Sesame dévoile le modèle de base de base derrière l'assistant virtuel viral Maya

Sesame, l'entreprise d'IA innovante derrière l'assistante vocale réaliste et réaliste, vient de faire des vagues en publiant le modèle de base qui stimule ses capacités. Surnommé CSM-1b, ce modèle possède une taille de 1 milliard de paramètres, un terme qui fait référence aux composants individuels constituant le modèle. Sorti sous une licence Apache 2.0, il est ouvert pour une utilisation commerciale avec un minimum de restrictions, comme annoncé sur la plate-forme de développement de l'IA étreignant la face.

CSM-1B fonctionne en convertissant les entrées de texte et audio en "codes audio RVQ". RVQ signifie «quantification du vecteur résiduel», une méthode qui transforme l'audio en jetons ou codes discrets. Cette technique est également utilisée dans d'autres technologies audio AI de pointe, telles que Google SoundStream et Meta's Encodec. À la base, CSM-1B exploite un modèle de la famille Llama de Meta, combiné à un composant audio "Decoder". Une version spécialisée de CSM-1b, après le réglage fin, alimente la voix de Maya, selon Sesame.

Décrivant le modèle comme un "modèle de génération de base" sur ses étreintes et ses référentiels GitHub, Sesame note qu'il est conçu pour produire une variété de voix mais n'a pas été affiné pour aucune voix spécifique. Bien qu'il ait une certaine capacité à gérer les langues non anglophones grâce à la «contamination des données» dans son ensemble de formation, ses performances dans ce domaine sont probablement inférieures. Fait intéressant, Sesame a gardé les détails des données de formation sous les wraps, nous laissant curieux de savoir ce qui a été consacré à la construction de ce modèle.

Un aspect qui soulève les sourcils est le manque de garanties robustes. Sesame opère sur un système d'honneur, encourageant simplement les utilisateurs et les développeurs à éviter d'utiliser le modèle pour reproduire la voix de quelqu'un sans autorisation, produire du contenu trompeur comme de fausses nouvelles ou participer à des activités "nocives" ou "malveillantes". J'ai personnellement testé la démo sur le visage étreint, et en une minute, j'avais cloné ma voix. C'était un jeu d'enfant de générer un discours sur n'importe quel sujet, même sensible comme l'élection et la propagande russe.

Consumer Reports a récemment souligné le manque de garanties "significatives" dans de nombreux outils de clonage vocale alimentés par l'IA, ce qui pourrait entraîner une fraude ou une abus potentiel. Sesame, co-fondé par le co-créateur d'Oculus, Brendan Iribe, a attiré l'attention du public fin février avec sa technologie adjointe qui échappe presque à la vallée étrange. Maya et l'autre assistant de Sesame, Miles, présentent des traits humains réalistes tels que prendre des respirations, parler avec des disfluences et être interruptible médian, similaire au mode vocal d'Openai.

Financièrement, Sesame a obtenu un financement non divulgué de poids lourds comme Andreessen Horowitz, Spark Capital et Matrix Partners. Au-delà des assistants vocaux, la société s'aventure également dans le prototypage des lunettes d'IA destinées à des vêtements toute la journée, équipées de leurs modèles personnalisés. Cette décision montre l'ambition de Sesame de repousser les limites de la technologie de l'IA dans notre vie quotidienne.