Openaiは、転写と音声生成AIモデルをアップグレードします

OpenAIは、APIを通じて転写および音声生成のための新しいAIモデルを展開しており、従来のバージョンに比べて大幅な改善を約束しています。これらのアップデートは、ユーザーのために独立してタスクを実行できる自律システムの構築に焦点を当てたOpenAIのより大きな「エージェント的」ビジョンの一部です。「エージェント」という言葉には議論の余地がありますが、OpenAIの製品責任者であるオリビエ・ゴデマンは、これをビジネスの顧客と対話できるチャットボットと見なしています。

「今後数か月で、ますます多くのエージェントが登場するでしょう」とゴデマンはTechCrunchとのブリーフィングで語りました。「全体的な目標は、顧客や開発者が有用でアクセスしやすく、正確なエージェントを活用できるように支援することです。」

OpenAIの最新のテキスト音声変換モデル「gpt-4o-mini-tts」は、より自然でニュアンスのある音声を生成することを目指すだけでなく、従来のモデルよりも適応性が高いです。開発者は、「狂気の科学者のように話す」や「マインドフルネスの教師のような穏やかな声を使う」といった自然言語コマンドでモデルを指導できます。この制御レベルにより、よりパーソナライズされた音声体験が可能になります。

「トゥルークライム風」の、使い古された声のサンプルはこちらです：

女性の「プロフェッショナル」な声の例はこちらです：

OpenAIの製品チームメンバーであるジェフ・ハリスは、TechCrunchに対し、目的は開発者が音声の「体験」と「コンテキスト」の両方をカスタマイズできるようにすることだと強調しました。「さまざまなシナリオでは、単調な声は望ましくありません」とハリスは説明しました。「たとえば、顧客サポートの場面で、ミスに対して謝罪するような声が必要な場合、その感情を声に注入できます。開発者やユーザーは、コンテンツだけでなく話し方も制御したいと強く望んでいると考えています。」

OpenAIの新しい音声認識モデル「gpt-4o-transcribe」と「gpt-4o-mini-transcribe」では、時代遅れのWhisper転写モデルを置き換える予定です。多様な高品質オーディオデータでトレーニングされたこれらのモデルは、アクセントのある多様な音声や、騒がしい環境でも優れた処理能力を誇ります。さらに、これらのモデルはWhisperが時折単語や文全体を捏造し、転写に人種的コメントや架空の医療治療などの不正確さを加える「幻覚」の問題が少ないです。

「この点で、これらのモデルはWhisperに比べて大幅な改善を示しています」とハリスは述べました。「モデルの正確性は、信頼できる音声体験にとって非常に重要であり、正確性とは、モデルが話された言葉を正しく捉え、話されていない内容を追加しないことを意味します。」

ただし、言語によってパフォーマンスは異なる場合があります。OpenAIの内部ベンチマークによると、2つのモデルのうちより正確な「gpt-4o-transcribe」は、タミル語、テルグ語、マラヤーラム語、カンナダ語などのインド系およびドラビダ系言語で「単語エラー率」が約30％に近づいています。これは、これらの言語では10語中約3語が人間の転写と異なる可能性があることを示唆しています。

これまでの慣例とは異なり、OpenAIはこれらの新しい転写モデルを無料で公開しません。従来、Whisperの新バージョンはMITライセンスで商用利用向けにリリースされてきました。ハリスは、「gpt-4o-transcribe」と「gpt-4o-mini-transcribe」はWhisperよりも大幅に大きいため、オープンリリースには適さないと指摘しました。

「これらのモデルは、Whisperのように一般的なラップトップで動作するには大きすぎます」とハリスは付け加えました。「モデルをオープンにリリースする際は、特定のニーズに適した形で慎重に行いたいと考えています。エンドユーザーのデバイスは、オープンソースモデルにとって主要な領域だと見ています。」

2025年3月20日午前11時54分（太平洋時間）に更新され、単語エラー率に関する説明を明確化し、ベンチマーク結果のチャートを最新バージョンに更新しました。