O gergelim revela o modelo de IA base por trás do assistente viral viral Maya

Sesame, a inovadora empresa de IA por trás da assistente de voz incrivelmente realista Maya, acaba de causar impacto ao lançar o modelo base que impulsiona suas capacidades. Chamado de CSM-1B, este modelo possui um tamanho de 1 bilhão de parâmetros, um termo que se refere aos componentes individuais que compõem o modelo. Lançado sob uma licença Apache 2.0, ele é aberto para uso comercial com restrições mínimas, conforme anunciado na plataforma de desenvolvimento de IA Hugging Face.

O CSM-1B funciona convertendo entradas de texto e áudio em "códigos de áudio RVQ". RVQ significa "quantização vetorial residual", um método que transforma áudio em tokens discretos, ou códigos. Essa técnica também é utilizada em outras tecnologias de áudio de IA de ponta, como o SoundStream da Google e o Encodec da Meta. Em seu núcleo, o CSM-1B utiliza um modelo da família Llama da Meta, combinado com um componente de "decodificador" de áudio. Uma versão especializada do CSM-1B, após ajustes finos, dá voz à Maya, segundo a Sesame.

Descrevendo o modelo como um "modelo de geração base" em seus repositórios no Hugging Face e GitHub, a Sesame observa que ele é projetado para produzir uma variedade de vozes, mas não foi refinado para nenhuma voz específica. Embora tenha alguma capacidade de lidar com idiomas não ingleses devido à "contaminação de dados" em seu conjunto de treinamento, seu desempenho nessa área é provavelmente inferior. Curiosamente, a Sesame manteve os detalhes dos dados de treinamento em segredo, deixando-nos curiosos sobre o que foi usado para construir este modelo.

Um aspecto que chama a atenção é a falta de salvaguardas robustas. A Sesame opera em um sistema de honra, simplesmente incentivando usuários e desenvolvedores a evitar usar o modelo para replicar a voz de alguém sem permissão, produzir conteúdo enganoso como notícias falsas ou participar de atividades "prejudiciais" ou "maliciosas". Eu pessoalmente testei a demonstração no Hugging Face e, em um minuto, clonei minha voz. Foi extremamente fácil gerar fala sobre qualquer tópico, até mesmo os sensíveis, como eleições e propaganda russa.

A Consumer Reports destacou recentemente a preocupante falta de salvaguardas "significativas" em muitas ferramentas de clonagem de voz alimentadas por IA, o que poderia levar a fraudes ou abusos em potencial. A Sesame, co-fundada pelo co-criador do Oculus, Brendan Iribe, chamou a atenção do público no final de fevereiro com sua tecnologia de assistente que quase escapa do vale da estranheza. Tanto a Maya quanto o outro assistente da Sesame, Miles, exibem características humanas realistas, como respirar, falar com disfluências e ser interrompível no meio do discurso, semelhante ao Voice Mode da OpenAI.

Financeiramente, a Sesame garantiu financiamento não divulgado de gigantes como Andreessen Horowitz, Spark Capital e Matrix Partners. Além de assistentes de voz, a empresa também está se aventurando na prototipagem de óculos de IA projetados para uso durante todo o dia, equipados com seus modelos personalizados. Esse movimento mostra a ambição da Sesame de expandir os limites da tecnologia de IA ainda mais em nossas vidas diárias.