Sesame presenta el modelo base de IA detrás del asistente virtual viral Maya

Sesame, la innovadora empresa de IA detrás de la asistente de voz sorprendentemente realista Maya, acaba de causar sensación al lanzar el modelo base que impulsa sus capacidades. Denominado CSM-1B, este modelo cuenta con un tamaño de mil millones de parámetros, un término que se refiere a los componentes individuales que conforman el modelo. Lanzado bajo una licencia Apache 2.0, está abierto para uso comercial con restricciones mínimas, según se anunció en la plataforma de desarrollo de IA Hugging Face.

CSM-1B funciona convirtiendo entradas de texto y audio en "códigos de audio RVQ". RVQ significa "cuantización vectorial residual", un método que transforma el audio en tokens discretos o códigos. Esta técnica también se utiliza en otras tecnologías de audio de IA de vanguardia, como SoundStream de Google y Encodec de Meta. En su núcleo, CSM-1B aprovecha un modelo de la familia Llama de Meta, combinado con un componente de "decodificador" de audio. Una versión especializada de CSM-1B, tras un ajuste fino, da voz a Maya, según Sesame.

Describiendo el modelo como un "modelo de generación base" en sus repositorios de Hugging Face y GitHub, Sesame señala que está diseñado para producir una variedad de voces, pero no ha sido refinado para ninguna voz específica. Aunque tiene cierta capacidad para manejar idiomas no ingleses gracias a la "contaminación de datos" en su conjunto de entrenamiento, su rendimiento en esta área probablemente sea deficiente. Curiosamente, Sesame ha mantenido en secreto los detalles de los datos de entrenamiento, dejándonos curiosos sobre qué se utilizó para construir este modelo.

Un aspecto que llama la atención es la falta de salvaguardas sólidas. Sesame opera bajo un sistema de honor, simplemente animando a los usuarios y desarrolladores a evitar usar el modelo para replicar la voz de alguien sin permiso, producir contenido engañoso como noticias falsas o participar en actividades "dañinas" o "maliciosas". Personalmente probé la demostración en Hugging Face, y en un minuto había clonado mi voz. Fue muy fácil generar un discurso sobre cualquier tema, incluso temas sensibles como las elecciones y la propaganda rusa.

Consumer Reports destacó recientemente la preocupante falta de salvaguardas "significativas" en muchas herramientas de clonación de voz impulsadas por IA, lo que podría conducir a posibles fraudes o abusos. Sesame, cofundada por el cocreador de Oculus, Brendan Iribe, captó la atención del público a finales de febrero con su tecnología de asistente que casi escapa del valle inquietante. Tanto Maya como el otro asistente de Sesame, Miles, exhiben rasgos humanos realistas, como respirar, hablar con disfluencias y ser interrumpibles a mitad del discurso, similar al Voice Mode de OpenAI.

Financieramente, Sesame ha asegurado una financiación no revelada de pesos pesados como Andreessen Horowitz, Spark Capital y Matrix Partners. Más allá de los asistentes de voz, la empresa también está incursionando en la creación de prototipos de gafas de IA destinadas a ser usadas todo el día, equipadas con sus modelos personalizados. Este movimiento muestra la ambición de Sesame de empujar los límites de la tecnología de IA aún más en nuestras vidas diarias.