Google выпустила Gemma 4 12B — унифицированную мультимодальную модель, которая отказывается от традиционных кодировщиков и напрямую обрабатывает визуальные и аудиоданные. Для локального развертывания на потребительском оборудовании ей требуется всего 16 ГБ видеопамяти. Благодаря использованию облегченных слоев встраивания она снижает вычислительную сложность, при этом приближаясь по производительности к модели MoE объемом 26 млрд параметров. Модель, выпущенная в открытом доступе под лицензией Apache 2.0, поддерживает несколько фреймворков для инференции и развертывание на периферийных устройствах, а количество ее скачиваний превысило 150 миллионов.