A NVIDIA lançou o Audex, um LLM unificado de áudio e texto desenvolvido com base em uma arquitetura MoE esparsa. Ele processa tokens de áudio e texto quantificados por meio de um único decodificador Transformer, alcançando desempenho líder no setor na compreensão auditiva, reconhecimento de fala, tradução e geração, ao mesmo tempo em que mantém as capacidades de raciocínio e alinhamento do LLM original. Esse modelo de código aberto já está pronto para ser implementado.