O gergelim revela o modelo de IA base por trás do assistente viral viral Maya

O gergelim, a inovadora empresa de IA por trás do impressionante assistente de voz de voz, Maya, acaba de fazer ondas liberando o modelo básico que impulsiona suas capacidades. Apelidado de CSM-1B, este modelo possui um tamanho de 1 bilhão de parâmetros, um termo que se refere aos componentes individuais que compõem o modelo. Lançado com uma licença Apache 2.0, está aberta para uso comercial com restrições mínimas, conforme anunciado na plataforma de desenvolvimento da IA, abraçando o rosto.

As funções CSM-1B convertendo entradas de texto e áudio em "códigos de áudio RVQ". O RVQ significa "quantização de vetores residuais", um método que transforma o áudio em tokens ou códigos discretos. Essa técnica também é utilizada em outras tecnologias de áudio de AI de ponta, como o SoundStream do Google e o Encodec do Meta. Na sua essência, o CSM-1B aproveita um modelo da família Llama da Meta, combinada com um componente "decodificador" de áudio. Uma versão especializada do CSM-1B, após o ajuste fino, alimenta a voz de Maya, de acordo com o gergelim.

Descrevendo o modelo como um "modelo de geração de base" em seus repositórios abraçados de rosto e github, o gergelim observa que ele foi projetado para produzir uma variedade de vozes, mas não foi refinado para nenhuma voz específica. Embora ele tenha alguma capacidade de lidar com idiomas não ingleses, graças à "contaminação dos dados" em seu conjunto de treinamento, seu desempenho nessa área é provavelmente abaixo. Curiosamente, a gergelim manteve os detalhes dos dados de treinamento em sigilo, deixando -nos curiosos sobre o que foi necessário para construir esse modelo.

Um aspecto que levanta as sobrancelhas é a falta de salvaguardas robustas. O gergelim opera em um sistema de honra, simplesmente incentivando usuários e desenvolvedores a evitar o uso do modelo para replicar a voz de alguém sem permissão, produzir conteúdo enganoso, como notícias falsas ou participar de qualquer atividades "prejudiciais" ou "maliciosas". Pessoalmente, testei a demonstração em abraçar o rosto e, em um minuto, eu havia clonado minha voz. Foi muito fácil gerar discursos sobre qualquer tópico, mesmo sensíveis, como a eleição e a propaganda russa.

Os relatórios do consumidor destacaram recentemente a falta de salvaguardas "significativas" em muitas ferramentas de clonagem de voz movidas a IA, o que poderia levar a possíveis fraudes ou abusos. O gergelim, co-fundado pelo co-criador da Oculus, Brendan Iribe, chamou a atenção do público no final de fevereiro com sua tecnologia assistente que quase escapa ao vale estranho. Tanto o outro assistente de Maya quanto a Vila, Miles, exibem traços realistas do tipo humano, como respirar, falar com disfluências e ser interrompível no meio da fala, semelhante ao modo de voz do OpenAI.

Financeiramente, a gergelim garantiu financiamento não revelado de pesos pesados ​​como Andreessen Horowitz, Spark Capital e Matrix Partners. Além dos assistentes de voz, a empresa também está se aventurando na prototipagem de óculos de AI destinados ao desgaste durante todo o dia, equipado com seus modelos personalizados. Esse movimento mostra a ambição da Vila de Sesame de ultrapassar ainda mais os limites da tecnologia de IA em nossas vidas diárias.