ElevenLabsは、新しいスピーチツーテキストモデルを発表します

ElevenLabsは、最近1億8000万ドルの資金調達に成功したAIスタートアップで、オーディオ生成技術で知られています。しかし今回、彼らは大胆にも新しい領域に踏み出し、初の独立した音声認識モデル「Scribe」をリリースしました。

33億ドルの評価額を持つElevenLabsは、豊富なボイスコレクションのおかげで、テキスト読み上げサービスを必要とする多くの企業にとって頼りになる存在でした。今、彼らは音声認識に照準を合わせ、Gladia、Speechmatics、AssemblyAI、Deepgram、OpenAIのWhisperモデルといったビッグネームに挑戦しようとしています。

Scribeは本気です。初めから99以上の言語をサポートしています。ElevenLabsによると、25以上の言語で優れた精度を誇り、単語エラー率は5％未満です。具体的には、英語（97％の精度を主張）、フランス語、ドイツ語、ヒンディー語、インドネシア語、日本語、カンナダ語、マラヤーラム語、ポーランド語、ポルトガル語、スペイン語、ベトナム語などが含まれます。その他の言語は、精度のカテゴリーに分けられます：高（単語エラー率5％～10％）、良好（10％～20％）、中程度（25％～50％）。

同社は、ScribeがFLEURSおよびCommon Voiceのベンチマークテストによると、Google Gemini 2.0 FlashやWhisper Large V3を複数の言語で上回っていると主張しています。

ElevenLabsは昨年、AI対話エージェントプラットフォーム用に音声認識部分を構築しましたが、Scribeは独立した音声認識モデルとして初めての試みです。先月TechCrunchとの対談で、CEOのMati Staniszewskiは音声認識技術を強化する計画について明かしました。

「私たちは、会話であなたが何を言っているかをよりよく理解したいと考えています。もうコンテンツ生成だけではありません。音声の理解と書き起こしに進出しているのです」とStaniszewskiは述べました。「音声認識は古い技術だと思う人も多いですが、多くの言語ではまだかなり粗いものです。私たちは、社内にデータラベリングチームがあり、迅速なフィードバックを得られるので、もっと良いものができると考えています。」

Scribeには、話者を識別するスマートスピーカーダイアライゼーション、正確な字幕のための単語レベルのタイムスタンプ、観客の笑い声などの音声イベントの自動タグ付けといったクールな機能もあります。さらに、ElevenLabsは顧客がスタジオでビデオコンテンツを直接書き起こして字幕やキャプションを追加できるようにしています。

現時点では、Scribeは録音済みのオーディオにのみ対応しています。ただし、同社は低遅延のリアルタイムバージョンを近日中に開発中だとしています。そのため、会議の書き起こしやボイスメモの作成にはまだ準備ができていません。

ElevenLabsは、Scribeの書き起こしオーディオ1時間あたり0.40ドルの料金を設定しています。これは競争力のある価格ですが、一部のライバルはオーディオ書き起こしをより安価な料金で提供しており、いくつかの異なる機能も含まれています。