Компания NVIDIA выпустила Audex — единый языковой модель типа LLM для обработки аудио и текста, построенная на архитектуре MoE с низкой плотностью связей. Она обрабатывает квантизированные аудиоданные и токены текста с помощью единого декодера Transformer, достигая лидирующих в отрасли показателей в таких задачах, как понимание аудио, распознавание речи, перевод и генерация текста, при этом сохраняя способности оригинальной модели LLM к логическому мышлению и соблюдению определённых принципов. Эта open-source-модель уже готова к внедрению.