OpenAI модернизирует свою транскрипционную и генерирующую игенерирующую модели искусственного интеллекта

OpenAI разворачивает новые модели искусственного интеллекта для транскрипции и генерации голоса через свой API, обещая значительные улучшения по сравнению с их более ранними версиями. Эти обновления являются частью более крупного «агентного» видения Openai, которое фокусируется на создании автономных систем, способных выполнять задачи независимо для пользователей. В то время как термин «агент» может быть обсужден, глава продукта Openai, Olivier Godement, рассматривает его как чат -бот, который может взаимодействовать с клиентами бизнеса.

«Мы увидим все больше и больше агентов в ближайшие месяцы», - Godement поделился с TechCrunch во время брифинга. «Общая цель - помочь клиентам и разработчикам в использовании полезных, доступных и точных агентов».

Последняя модель Openai Text-To Speek, получившая название «GPT-4O-Mini-TTS», не только направлена ​​на создание более реалистичной и нюансированной речи, но также является более адаптируемой, чем его предшественники. Разработчики теперь могут направлять модель, используя команды естественного языка, такие как «говорить как безумный ученый» или «использовать безмятежный голос, как учитель осознанности». Этот уровень контроля обеспечивает более персонализированный голосовой опыт.

Вот образец «истинного стиля преступления», выветрившегося голоса:

А вот пример женского «профессионального» голоса:

Джефф Харрис, член команды продуктов Openai, подчеркнул TechCrunch, что цель состоит в том, чтобы позволить разработчикам настроить как голос «опыт», так и «контекст». «В различных сценариях вы не хотите монотонного голоса», - объяснил Харрис. «Например, в настройке поддержки клиентов, где голос должен звучать извиняющееся за ошибку, вы можете ввести эту эмоцию в голос. Мы твердо верим, что разработчики и пользователи хотят контролировать не только контент, но и способ речи».

Переходя к новым предложениям Spearai, «GPT-4-Transcribibe» и «GPT-4O-Mini-Transcribe», эти модели предназначены для замены устаревшей модели транскрипции Whisper. Обуренные на разнообразие высококачественных аудиоданных, они утверждают, что лучше обрабатывают акцентированную и разнообразную речь, даже в шумных настройках. Кроме того, эти модели менее склонны к «галлюцинациям», проблема, когда шепот иногда изобретает слова или целые отрывки, добавляя неточности, такие как расовые комментарии или фиктивные медицинские методы лечения к транскриптам.

«Эти модели показывают значительное улучшение по сравнению с шепотом в этом отношении», - отметил Харрис. «Обеспечение точности модели имеет решающее значение для надежного голосового опыта, и под точностью мы подразумеваем, что модели правильно отражают произнесенные слова без добавления невыплаченного контента».

Однако производительность может варьироваться в зависимости от языков. Внутренние тесты Openai показывают, что GPT-4-Transcribe, более точная из них, имеет «частоту ошибок слова», приближающуюся к 30% для индийских и дравидийских языков, таких как тамильский, телугу, малаялам и каннада. Это говорит о том, что около трех из каждых десяти слов могут отличаться от человеческой транскрипции на этих языках.

В отъезде от их обычной практики Openai не будет делать эти новые модели транскрипции свободно доступными. Исторически они выпустили новые версии Whisper по лицензии MIT для коммерческого использования. Харрис отметил, что GPT-4-Transcribe и GPT-4O-Mini-Transcribe значительно больше, чем шепот, что делает их непригодными для открытого выпуска.

«Эти модели слишком велики, чтобы работать на типичном ноутбуке, как и Whisper», - добавил Харрис. «Когда мы открыто выпускаем модели, мы хотим сделать это задумчиво, гарантируя, что они адаптированы для определенных потребностей. Мы рассматриваем устройства конечных пользователей как основную область для моделей с открытым исходным кодом».

Обновлено 20 марта 2025 года, 11:54 PT, чтобы прояснить язык, связанный с частотой ошибок, и обновите диаграмму результатов эталона более поздней версией.