Sesame presenta el modelo base de IA detrás del asistente virtual viral Maya

Sesame, la innovadora compañía de IA detrás del asistente de voz sorprendentemente realista Maya, acaba de hacer olas al liberar el modelo base que impulsa sus capacidades. Apodado CSM-1B, este modelo cuenta con un tamaño de mil millones de parámetros, un término que se refiere a los componentes individuales que componen el modelo. Lanzado bajo una licencia Apache 2.0, está abierto para uso comercial con restricciones mínimas, como se anunció en la plataforma de desarrollo de IA, abrazando la cara.

Funciones CSM-1B convirtiendo las entradas de texto y audio en "códigos de audio RVQ". RVQ significa "Cuantización del vector residual", un método que transforma el audio en tokens o códigos discretos. Esta técnica también se utiliza en otras tecnologías de audio de IA de vanguardia, como SoundStream y Meta's Codec de Google. En esencia, CSM-1B aprovecha un modelo de la familia Llama de Meta, combinado con un componente de audio "decodificador". Según Sesame, una versión especializada de CSM-1b, después de ajustar, alimenta la voz de Maya.

Al describir el modelo como un "modelo de generación base" en su rostro abrazante y repositorios de GitHub, Sesame señala que está diseñado para producir una variedad de voces, pero no se ha refinado para ninguna voz específica. Si bien tiene cierta capacidad para manejar los idiomas no ingleses gracias a la "contaminación de datos" en su conjunto de capacitación, su rendimiento en esta área es probablemente deficiente. Curiosamente, Sesame ha mantenido los detalles de los datos de capacitación en secreto, dejándonos curiosos sobre lo que se destinó a construir este modelo.

Un aspecto que eleva las cejas es la falta de salvaguardas robustas. Sesame opera en un sistema de honor, simplemente alentando a los usuarios y desarrolladores a evitar usar el modelo para replicar la voz de alguien sin permiso, producir contenido engañoso como noticias falsas o participar en cualquier actividad "dañina" o "maliciosa". Probé personalmente la demostración en la cara abrazada, y en un minuto, había clonado mi voz. Fue muy fácil generar un discurso sobre cualquier tema, incluso los sensibles como las elecciones y la propaganda rusa.

Consumer Reports recientemente destacó la falta de salvaguardas "significativas" en muchas herramientas de clonación de voz con IA, lo que podría conducir a un posible fraude o abuso. Sesame, cofundado por el cocreador de Oculus, Brendan Iribe, llamó el ojo del público a fines de febrero con su tecnología asistente que casi escapa del extraño valle. Tanto el otro asistente de Maya como el otro asistente, Miles, exhiben rasgos realistas similares a los humanos, como respirar, hablar con disfluencias y ser interrumpibles a mitad del habla, similar al modo de voz de Openi.

Financieramente, Sesame ha obtenido fondos no revelados de pesos pesados ​​como Andreessen Horowitz, Spark Capital y Matrix Partners. Más allá de los asistentes de voz, la compañía también se está aventurando en prototipos de gafas de inteligencia artificial destinada a la ropa durante todo el día, equipada con sus modelos personalizados. Este movimiento muestra la ambición de Sesame de superar los límites de la tecnología de IA en nuestra vida diaria.