NVIDIA a lancé Audex, un LLM audio-text unifié conçu sur une architecture MoE sparsa. Il traite les tokens audio et textuels quantifiés à l’aide d’un seul décodeur Transformer, offrant des performances de pointe dans la compréhension audio, la reconnaissance vocale, la traduction et la génération, tout en conservant les capacités de raisonnement et d’alignement propres au LLM initial. Ce modèle open source est prêt à être déployé.