Modulate запускает модели ансамблевого прослушивания для трансформации понимания речи искусственным интеллектом

Несмотря на значительный прогресс в области искусственного интеллекта, одна область по-прежнему представляет собой серьезную проблему: подлинное понимание человеческой речи. Это выходит за рамки простой транскрипции слов и включает в себя интерпретацию скрытых эмоций, намерений, передаваемых интонацией и темпом речи, а также тонких нюансов, которые позволяют отличить дружеское подшучивание от подлинного разочарования, обмана или злого умысла. Сегодня компания Modulate объявила о значительном прорыве в области искусственного интеллекта, представив Ensemble Listening Model (ELM) — новую архитектуру ИИ, специально разработанную для понимания речи в реальных условиях.

Наряду с этим исследованием Modulate запустила Velma 2.0, первую операционную систему, основанную на Ensemble Listening Model. Компания заявляет, что Velma 2.0 превосходит ведущие базовые модели по точности разговора, при этом работая со значительно меньшими затратами — убедительное утверждение, поскольку компании все чаще тщательно анализируют финансовую целесообразность крупномасштабного внедрения ИИ.

Почему голос представляет собой проблему для ИИ

Большинство систем искусственного интеллекта, предназначенных для анализа речи, следуют стандартной процедуре: сначала аудио преобразуется в текст, а затем эта транскрипция анализируется с помощью большой языковой модели. Хотя этот метод хорошо подходит для транскрипции и резюмирования, он устраняет те элементы, которые придают устной коммуникации ее богатство.

Важная контекстуальная информация, такая как тон, эмоциональная интонация, колебания, сарказм, перекрывающиеся диалоги и фоновый шум, теряется, когда речь сводится к простому тексту. Это часто приводит к неверному толкованию намерений или настроения. Проблема особенно актуальна в таких областях, как обслуживание клиентов, выявление мошенничества, онлайн-игры и коммуникации на основе ИИ, где нюансы имеют решающее значение для достижения точных результатов.

По мнению Modulate, этот недостаток связан с архитектурными ограничениями, а не с недостатком данных. Крупные языковые модели оптимизированы для прогнозирования текста, а не для интеграции нескольких акустических и поведенческих сигналов в режиме реального времени. Модели ансамблевого прослушивания были разработаны для устранения этого недостатка.

Что такое ансамблевая модель прослушивания?

Модель ансамблевого прослушивания — это не единая универсальная нейронная сеть. Это скоординированная система, состоящая из множества специализированных моделей, каждая из которых предназначена для анализа отдельного аспекта голосового взаимодействия.

В рамках ELM отдельные модели оценивают эмоции, уровень стресса, признаки обмана, личность говорящего, временные параметры, речевые паттерны, фоновый шум и возможное использование синтетических или поддельных голосов. Эти сигналы синхронизируются с помощью согласованного по времени оркестрационного слоя, который генерирует единое и интерпретируемое понимание динамики разговора.

Этот намеренный раздел труда является основополагающим для подхода ELM. Вместо того, чтобы полагаться на одну массивную модель для неявного вывода значения, Ensemble Listening Models интегрируют несколько целевых перспектив, повышая как точность, так и объясняемость.

Внутри Velma 2.0

Velma 2.0 представляет собой значительное усовершенствование по сравнению с более ранними системами Modulate, основанными на ансамбле. Она использует более 100 компонентных моделей, работающих вместе в режиме реального времени и организованных в пять аналитических слоев.

Первый уровень обрабатывает основные аудиоданные, определяя количество говорящих, время речи и паузы. Следующий уровень извлекает акустические сигналы, определяя эмоциональное состояние, уровень стресса, признаки обмана, характеристики синтетического голоса и окружающий шум.

Третий уровень оценивает воспринимаемое намерение, различая искреннюю похвалу и саркастические или враждебные комментарии. Затем моделирование поведения отслеживает паттерны разговора во времени, выделяя признаки разочарования, замешательства, заученной речи или попыток социальной инженерии. Последний уровень, анализ разговора, преобразует эти результаты в события, имеющие отношение к бизнесу, такие как неудовлетворенность клиентов, нарушения политики, потенциальное мошенничество или неисправность агентов ИИ.

Modulate сообщает, что Velma 2.0 интерпретирует смысл и намерения разговора примерно на 30 % точнее, чем ведущие методы на основе LLM, при этом будучи в 10–100 раз более экономичным в масштабе.

От модерации игр до корпоративной разведки

Модели ансамблевого прослушивания берут свое начало в ранней работе Modulate с онлайн-играми. Популярные игры, такие как Call of Duty и Grand Theft Auto Online, отличаются одними из самых сложных голосовых сред — диалоги в них быстрые, шумные, эмоционально насыщенные и богатые сленгом и контекстуальными отсылками.

Чтобы в режиме реального времени отличить шутливые перепалки от реальных оскорблений, требуются возможности, выходящие далеко за рамки простой транскрипции. При работе со своим инструментом модерации голоса ToxMod компания Modulate постепенно создавала все более сложные ансамбли моделей, чтобы уловить эти тонкости. Координация десятков специализированных моделей стала необходимым условием для достижения требуемой точности, что в конечном итоге вдохновило команду на формализацию этого подхода в новой архитектурной структуре.

Velma 2.0 расширяет эту архитектуру за пределы игровой индустрии. Теперь она управляет корпоративной платформой Modulate, анализируя сотни миллионов разговоров в различных секторах для выявления мошенничества, оскорбительных действий, неудовлетворенности клиентов и нестандартного поведения ИИ.

Вызов для базовых моделей

Это объявление появляется в момент, когда многие предприятия пересматривают свои стратегии в области ИИ. Несмотря на значительные инвестиции, значительное число проектов в области ИИ не доходит до стадии производства или не приносит устойчивой выгоды. К общим проблемам относятся галлюцинации ИИ, растущие затраты на выводы, непрозрачные процессы принятия решений и трудности с интеграцией идей ИИ в операционные рабочие процессы.

Модели Ensemble Listening Models решают эти проблемы напрямую. Используя множество небольших специализированных моделей вместо одной монолитной системы, ELM дешевле в эксплуатации, проще в аудите и более интерпретируемы. Каждый результат можно отследить до конкретных сигналов, что дает организациям четкое представление о том, как делаются выводы.

Такая степень прозрачности особенно важна в регулируемых или высокорисковых условиях, где решения «черного ящика» неприемлемы. Modulate frames ELM — это не замена крупных языковых моделей, а более подходящая архитектура для голосового интеллекта корпоративного уровня.

За пределами преобразования речи в текст

Одной из самых передовых функций Velma 2.0 является ее способность анализировать не только сами слова, но и то, как они произносятся. Это включает в себя идентификацию синтетических или поддельных голосов — проблема, которая становится все более актуальной по мере того, как технологии генерации голоса становятся все более доступными.

По мере развития технологии клонирования голоса организации сталкиваются с растущими угрозами мошенничества, подделки личности и социальной инженерии. Благодаря интеграции функции обнаружения синтетического голоса непосредственно в свой ансамбль, Velma 2.0 рассматривает аутентичность как фундаментальный сигнал, а не как второстепенный фактор.

Моделирование поведения системы также позволяет получать проактивные аналитические данные. Она может определять, когда кто-то читает по сценарию, когда нарастает разочарование или когда взаимодействие ведет к конфликту. Эти возможности позволяют компаниям вмешиваться быстрее и эффективнее.

Новое направление для корпоративного ИИ

Modulate характеризует ансамблевую модель прослушивания как новый класс архитектуры ИИ, отличный как от традиционных конвейеров обработки сигналов, так и от крупных базовых моделей. Основная идея заключается в том, что сложные человеческие взаимодействия лучше декодируются с помощью скоординированной специализации, а не грубого масштабирования.

Поскольку компании ищут системы искусственного интеллекта, которые были бы подотчетными, эффективными и соответствовали бы операционным реалиям, Ensemble Listening Models указывают на будущее, в котором интеллект будет построен из множества специализированных компонентов. С внедрением Velma 2.0 в реальных условиях Modulate делает ставку на то, что эта архитектурная эволюция найдет применение далеко за пределами модерации голоса и поддержки клиентов.

В отрасли, которая ищет альтернативы все более крупным и непрозрачным системам, ансамблевые модели прослушивания указывают на то, что следующий крупный прорыв в области ИИ может быть связан не только с более мощными вычислениями, но и с более внимательным прослушиванием.