Sesame открывает модель AI Base, стоящая за вирусным виртуальным помощником Maya

Sesame, инновационная компания ИИ, стоящая за поразительно жизненным голосовым помощником Maya, только что подняла волны, выпустив базовую модель, которая управляет ее возможностями. Эта модель, получившая название CSM-1B, может похвастаться размером 1 миллиарда параметров, термин, который относится к отдельным компонентам, составляющим модель. Выпущенный под лицензией Apache 2.0, он открыт для коммерческого использования с минимальными ограничениями, как было объявлено на платформе AI Development Platform.

Функции CSM-1B путем преобразования текстовых и аудио входов в «RVQ Audio-коды». RVQ означает «квантование остаточного вектора», метод, который преобразует аудио в дискретные токены или коды. Этот метод также используется в других передовых аудиотехнологиях ИИ, таких как Soundstream Google и Meta. По своей сути, CSM-1B использует модель из семейства LlaMa Meta, в сочетании с компонентом аудио «декодера». По словам SESAME, специализированная версия CSM-1B, после точной настройки, способствует голосу Maya.

Описывая модель как «модель базового поколения» на своей обнимающей лице и репозиториях GitHub, Sesame отмечает, что она предназначена для создания разнообразных голосов, но не было уточнено для какого -либо конкретного голоса. Несмотря на то, что он обладает некоторой способностью обрабатывать неанглийские языки благодаря «загрязнению данных» в своем учебном наборе, его производительность в этой области, вероятно, является невыполненным. Интересно, что Sesame сохранил детали учебных данных под обертыванием, оставив нам любопытно, что пошло на создание этой модели.

Одним из аспектов, который поднимает брови, является отсутствие надежных гарантий. Sesame работает на системе чести, просто поощряя пользователей и разработчиков избегать использования модели для воспроизведения чьего -либо голоса без разрешения, создавать вводящий в заблуждение контент, такой как поддельные новости, или принять участие в любых «вредных» или «вредоносных» действиях. Я лично проверил демонстрацию на обтягивающем лицо, и через минуту я клонировал свой голос. Это был ветерок, чтобы генерировать речь по любой теме, даже чувствительные, такие как выборы и российская пропаганда.

Consumer Reports недавно подчеркнула отсутствие «значимых» гарантий во многих инструментах клонирования голоса с помощью AI, которые могут привести к потенциальному мошенничеству или злоупотреблению. Sesame, соучрединный соавтором Oculus Бренданом Ирибе, привлек внимание общественности в конце февраля со своей помощником технологии, которая почти избегает странной долины. И другой помощник Maya и Sesame, Майлз, демонстрируют реалистичные человеческие черты, такие как захватывание вдоха, разговор с недостатками и прерываемые в середине речи, похожие на голосовой режим Openai.

В финансовом отношении Sesame получила нераскрытое финансирование от тяжеловесов, таких как Andreessen Horowitz, Spark Capital и Matrix Partners. Помимо голосовых помощников, компания также встает на прототипирование очков искусственного интеллекта, предназначенных для износа на протяжении всего дня, оснащенных их пользовательскими моделями. Этот шаг показывает амбиции Sesame к тому, чтобы продвигать границы технологии ИИ дальше в нашу повседневную жизнь.