セサミは、ウイルス仮想アシスタントマヤの背後にあるベースAIモデルを発表します

驚くほどリアルな音声アシスタントマヤの背後にある革新的なAI会社であるSesameは、彼女の能力を促進する基本モデルをリリースすることで波を作ったばかりです。 CSM-1Bと呼ばれるこのモデルは、10億パラメーターのサイズを誇っています。これは、モデルを構成する個々のコンポーネントを指す用語です。 Apache 2.0ライセンスの下でリリースされ、AI開発プラットフォームで発表されているように、最小限の制限で商業用に使用できます。

CSM-1Bは、テキストとオーディオ入力を「RVQオーディオコード」に変換することにより機能します。 RVQは、オーディオを離散トークンまたはコードに変換する方法「残留ベクトル量子化」の略です。この手法は、GoogleのSoundStreamやMetaのEncodecなど、他の最先端のAIオーディオテクノロジーでも利用されています。 CSM-1Bは、そのコアで、メタのラマファミリーのモデルをレバレッジし、オーディオ「デコーダー」コンポーネントと組み合わせています。 SESAMEによれば、微調整後、微調整後、Mayaの声を動かすCSM-1Bの専門的なバージョン。

モデルを抱きしめる顔とGithubのリポジトリの「ベース生成モデル」として説明するSesameは、さまざまな声を生み出すように設計されているが、特定の声では洗練されていないことを指摘しています。トレーニングセットの「データ汚染」のおかげで、英語以外の言語を処理する能力がありますが、この分野でのパフォーマンスはおそらく下位です。興味深いことに、Sesameはトレーニングデータの詳細をラップして保持しており、このモデルの構築に何が入ったのか興味があります。

眉を上げる1つの側面は、堅牢な保護手段がないことです。 Sesameは名誉制度で運営され、ユーザーと開発者がモデルを使用して許可なしに誰かの声を再現することを避け、偽のニュースなどの誤解を招くコンテンツを作成するか、「有害な」または「悪意のある」活動に参加するように奨励するだけです。私は個人的に顔を抱きしめてデモをテストしましたが、すぐに声をクローンしました。選挙やロシアのプロパガンダなど、あらゆるトピックに関するスピーチを生み出すのは簡単でした。

消費者のレポートは最近、多くのAIを搭載した音声クローニングツールにおける「意味のある」セーフガードの欠如に関する強調を強調し、潜在的な詐欺や虐待につながる可能性があります。 Oculusの共同作成者であるBrendan Iribeが共同設立したSesameは、2月下旬にUncanny Valleyを逃れそうになったアシスタントテクノロジーで国民の目を引きました。 MayaとSesameの他のアシスタントであるMilesは、息を吸う、障害と話すこと、Openaiの音声モードと同様に中断可能な中速化など、現実的な人間のような特性を示します。

財政的には、SesameはAndreessen Horowitz、Spark Capital、Matrix Partnersなどのヘビー級から非公開の資金を確保しました。音声アシスタントを超えて、同社はまた、カスタムモデルを装備した終日摩耗を目的としたAIメガネのプロトタイピングにも挑戦しています。この動きは、AIテクノロジーの境界を私たちの日常生活にさらに押し上げるというセサミの野望を示しています。