Wan-Streamer v0.2は超低遅延のAIチャットを提供します
現代技術が急速に進歩するにつれ、人間とAIの相互作用はより一般的になっています。従来のビデオ通話では、ラグ、遅延、音声と映像の非同期といった問題にしばしば直面します。Tongyi Labによる最新リリースであるWan-Streamer v0.2は、これらの課題を完全に克服し、わずか550ミリ秒の応答遅延で、真に自然な「対面」コミュニケーションを可能にします。
Wan-Streamer v0.2は、新しいエンドツーエンドのマルチモーダル理解および生成モデルです。単一のTransformerモデル内で「聴く、見る、話す、行動する」を統合し、人間のようにリアルタイムで会話に知覚し、応答することを可能にします。つまり、音声、テキスト、ビデオのいずれにおいても、AIは即座に理解し、適切な応答を生成できます。

市場にある他のリアルタイム対話システムと比較して、Wan-Streamerは優れた応答速度を示しており、全体レイテンシはわずか0.55秒(ネットワーク伝送を含む)で、既存のほとんどの音声対話モデルよりも大幅に高速です。さらに、そのビデオ品質も大幅に向上し、解像度は192×336から640×368に増加し、シーンの詳細がより明確に見えるようになりました。
この技術的突破は、その独自のアーキテクチャ設計に由来します。従来のリアルタイム対話システムは通常、カスケードパイプライン方式を採用しており、情報伝送が遅く、同期の問題が発生しやすいです。Wan-Streamerはストリーミングユニットの概念を導入し、ユーザー入力の知覚、状態更新、応答生成を160ミリ秒以内で完了させることで、スムーズな対話を実現します。
このバージョンでは、AIは単なる「浮遊する頭部」ではなく、感情や行動を自然に表現できる全身のデジタルヒューマンです。AIの視線、姿勢、ジェスチャー、およびその周囲の環境を見ることができます。この設計により、ユーザーはAIとの対話においてより現実感と温かみを感じます。
さらに、Wan-Streamer v0.2のアプリケーションシナリオは非常に幅広く、言語練習、心理カウンセリング、教育チューター、ゲームNPCとの対話などを含み、臨場感が求められるほぼすべての分野をカバーしています。
要約すると、Wan-Streamer v0.2は、ネイティブストリーミングアーキテクチャと分散推論の組み合わせを通じて、AIコミュニケーションをより人間に近いものにしており、この技術がどのようにさらに発展するかは、私たちの継続的な注目に値します。
関連記事
Metaは、あなたの次のガジェットがMuseを内蔵したものであることを望んでいる
Metaの旅行予約、フォーム送信、ショッピングを処理するAIアシスタント「Muse」は広く採用されているが、新しいイニシアチブは特に開発者やハードウェア愛好家を魅了する可能性がある。金曜日、MetaはMuseと統合されたカスタムハードウェアを作成できるようにするオープンソースのイニシアチブ「Muse Gadgets」を発表した。Metaは、カラー電子インクディスプレイをMuseに追加することから、HDMIスティックにソフトウェアを組み込んでテレビ接続を実現することまで、さまざまなスタータープ
MetaはTSMCとMicronの参加を得て、旧型メモリを搭載した新規サーバーを整備する
人工知能の採用が世界中で加速する中、次世代DDR5メモリは深刻な供給不足に直面しています。AIデータセンターの展開における遅延を回避するため、MetaはTSMCやMicronといった業界のリーダーと提携し、画期的な過渡期のソリューションを開発しました。この革新により、従来DDR5専用に設計されていた高度なAIサーバーが、従来のDDR4モジュールとシームレスに動作できるようになりました。「フランケンシュタイン」構成と称されるこのシステムは、実世界のテストで顕著な安定性を示し、現在進行中のサプライチ
時系列データベースがリアルタイムのロボティクスデータをどのように支えるか
タイガー・データのドグ・パグヌッティ。パグヌッティ氏は、タイガー・データで産業用開発者エバンジェリストを務め、実世界の産業システムの構築を支援するチームをサポートしています。石油・ガスおよび製造業の自動化分野で12年以上の経験を持つ彼は、PLC、ロボット、SCADAシステムに取り組み、その後Dell EMCおよびVTScadaでの産業用ソフトウェア開発に移行しました。彼は、大規模なIIoT展開における時系列データインフラストラクチャの課題を自動化エンジニアが解決するのを支援することで、OTとIT
関連特集おすすめ
コメント (0)
0/500
現代技術が急速に進歩するにつれ、人間とAIの相互作用はより一般的になっています。従来のビデオ通話では、ラグ、遅延、音声と映像の非同期といった問題にしばしば直面します。Tongyi Labによる最新リリースであるWan-Streamer v0.2は、これらの課題を完全に克服し、わずか550ミリ秒の応答遅延で、真に自然な「対面」コミュニケーションを可能にします。
Wan-Streamer v0.2は、新しいエンドツーエンドのマルチモーダル理解および生成モデルです。単一のTransformerモデル内で「聴く、見る、話す、行動する」を統合し、人間のようにリアルタイムで会話に知覚し、応答することを可能にします。つまり、音声、テキスト、ビデオのいずれにおいても、AIは即座に理解し、適切な応答を生成できます。

市場にある他のリアルタイム対話システムと比較して、Wan-Streamerは優れた応答速度を示しており、全体レイテンシはわずか0.55秒(ネットワーク伝送を含む)で、既存のほとんどの音声対話モデルよりも大幅に高速です。さらに、そのビデオ品質も大幅に向上し、解像度は192×336から640×368に増加し、シーンの詳細がより明確に見えるようになりました。
この技術的突破は、その独自のアーキテクチャ設計に由来します。従来のリアルタイム対話システムは通常、カスケードパイプライン方式を採用しており、情報伝送が遅く、同期の問題が発生しやすいです。Wan-Streamerはストリーミングユニットの概念を導入し、ユーザー入力の知覚、状態更新、応答生成を160ミリ秒以内で完了させることで、スムーズな対話を実現します。
このバージョンでは、AIは単なる「浮遊する頭部」ではなく、感情や行動を自然に表現できる全身のデジタルヒューマンです。AIの視線、姿勢、ジェスチャー、およびその周囲の環境を見ることができます。この設計により、ユーザーはAIとの対話においてより現実感と温かみを感じます。
さらに、Wan-Streamer v0.2のアプリケーションシナリオは非常に幅広く、言語練習、心理カウンセリング、教育チューター、ゲームNPCとの対話などを含み、臨場感が求められるほぼすべての分野をカバーしています。
要約すると、Wan-Streamer v0.2は、ネイティブストリーミングアーキテクチャと分散推論の組み合わせを通じて、AIコミュニケーションをより人間に近いものにしており、この技術がどのようにさらに発展するかは、私たちの継続的な注目に値します。
Metaは、あなたの次のガジェットがMuseを内蔵したものであることを望んでいる
Metaの旅行予約、フォーム送信、ショッピングを処理するAIアシスタント「Muse」は広く採用されているが、新しいイニシアチブは特に開発者やハードウェア愛好家を魅了する可能性がある。金曜日、MetaはMuseと統合されたカスタムハードウェアを作成できるようにするオープンソースのイニシアチブ「Muse Gadgets」を発表した。Metaは、カラー電子インクディスプレイをMuseに追加することから、HDMIスティックにソフトウェアを組み込んでテレビ接続を実現することまで、さまざまなスタータープ
MetaはTSMCとMicronの参加を得て、旧型メモリを搭載した新規サーバーを整備する
人工知能の採用が世界中で加速する中、次世代DDR5メモリは深刻な供給不足に直面しています。AIデータセンターの展開における遅延を回避するため、MetaはTSMCやMicronといった業界のリーダーと提携し、画期的な過渡期のソリューションを開発しました。この革新により、従来DDR5専用に設計されていた高度なAIサーバーが、従来のDDR4モジュールとシームレスに動作できるようになりました。「フランケンシュタイン」構成と称されるこのシステムは、実世界のテストで顕著な安定性を示し、現在進行中のサプライチ
時系列データベースがリアルタイムのロボティクスデータをどのように支えるか
タイガー・データのドグ・パグヌッティ。パグヌッティ氏は、タイガー・データで産業用開発者エバンジェリストを務め、実世界の産業システムの構築を支援するチームをサポートしています。石油・ガスおよび製造業の自動化分野で12年以上の経験を持つ彼は、PLC、ロボット、SCADAシステムに取り組み、その後Dell EMCおよびVTScadaでの産業用ソフトウェア開発に移行しました。彼は、大規模なIIoT展開における時系列データインフラストラクチャの課題を自動化エンジニアが解決するのを支援することで、OTとIT





家






