Wan-Streamer v0.2 實現超低延遲 AI 聊天
隨著現代技術的飛速發展,人機互動正變得愈發普遍。傳統的視訊通話常常面臨卡頓、延遲以及音影片不同步等問題。通義實驗室最新發布的 Wan-Streamer v0.2 徹底克服了這些挑戰,實現了真正的“面對面”自然交流,響應延遲僅為 550 毫秒。
Wan-Streamer v0.2 是一個全新的端到端多模態理解與生成模型。它在單個 Transformer 模型中整合了“聽、看、說、演”功能,使 AI 能夠像人類一樣實時感知並回應對話。這意味著無論是語音、文字還是影片,AI 都能即時理解並生成恰當的回應。

與市場上其他實時互動系統相比,Wan-Streamer 展現了卓越的響應速度,整體延遲僅為 0.55 秒(包含網路傳輸),顯著快於大多數現有的語音對話模型。此外,其影片質量也得到了顯著提升,解析度從 192×336 提升至 640×368,使場景細節更加清晰可見。
這一技術突破源於其獨特的架構設計。傳統的實時互動系統通常採用級聯流水線模式,導致資訊傳輸緩慢且容易出現同步問題。Wan-Streamer 引入了流式單元的概念,使其能夠在 160 毫秒內完成使用者輸入感知、狀態更新和響應生成,從而實現流暢的互動。
在此版本中,AI 不再只是一個“浮動頭像”,而是一個能夠自然表達情感和動作的全身數字人。你可以看到 AI 的眼神交流、姿態和手勢,以及其周圍的環境。這種設計讓使用者在與 AI 互動時感受到更強的真實感和溫暖感。
此外,Wan-Streamer v0.2 的應用場景非常廣泛,包括口語練習、心理諮詢、教育輔導、遊戲 NPC 互動等,涵蓋了幾乎所有需要“在場感”的領域。
綜上所述,Wan-Streamer v0.2 透過原生流式架構與分散式推理的結合,使 AI 交流更貼近真實的人類互動。這項技術未來的進一步發展值得我們持續關注。
相關文章
Meta 希望你的下一個智慧裝置搭載 Muse 功能
Meta 的 Muse 是一個處理旅行預訂、表單提交和購物的 AI 助手,已獲得廣泛採用,但一項新舉措可能特別吸引開發者和硬體愛好者。週五,Meta 推出了 Muse Gadgets,這是一個開源專案,使開發者能夠建立與 Muse 整合的定製硬體。Meta 正在釋出開源韌體和 Linux 軟體開發工具包(SDK),以及 starter 專案概念。這些概念包括為 Muse 新增彩色電子墨水顯示屏,或將軟體嵌入 HDMI 棒以實現電視連線。限制很少。使用者可以部署低成本愛好者計算機,如 Rasp
Meta 加入臺積電和美光,為新型伺服器配備舊款記憶體
隨著人工智慧在全球範圍內的採用加速,下一代 DDR5 記憶體正經歷嚴重的供應短缺。為了避免 AI 資料中心部署出現延誤,Meta 與臺積電(TSMC)和美光(Micron)等行業領導者合作,開發了一種突破性的過渡解決方案。這項創新使得原本專為 DDR5 設計的先進 AI 伺服器能夠與較舊的 DDR4 模組無縫協同工作。該系統被稱為“弗蘭肯斯坦”(Frankenstein)配置,在現實世界測試中表現出卓越的穩定性,為突破當前的供應鏈瓶頸提供了可行的出路。彌合硬體鴻溝DDR5 與 DDR4 之間的向後
時序資料庫如何賦能實時機器人資料
Doug Pagnutti,Tiger Data 公司。Pagnutti 擔任 Tiger Data 的工業開發者倡導者,支援團隊構建現實世界中的工業系統。他在石油天然氣和製造自動化領域擁有超過 12 年的經驗,曾從事可程式設計邏輯控制器(PLC)、機器人和 SCADA 系統的工作,隨後轉至 Dell EMC 和 VTScada 從事工業軟體開發。他透過幫助自動化工程師解決大規模 IIoT 部署中的時間序列資料基礎設施問題,彌合了運營技術(OT)與資訊科技(IT)之間的差距。顯示時間線8:43 –
相關專題推薦
評論 (0)
0/500
隨著現代技術的飛速發展,人機互動正變得愈發普遍。傳統的視訊通話常常面臨卡頓、延遲以及音影片不同步等問題。通義實驗室最新發布的 Wan-Streamer v0.2 徹底克服了這些挑戰,實現了真正的“面對面”自然交流,響應延遲僅為 550 毫秒。
Wan-Streamer v0.2 是一個全新的端到端多模態理解與生成模型。它在單個 Transformer 模型中整合了“聽、看、說、演”功能,使 AI 能夠像人類一樣實時感知並回應對話。這意味著無論是語音、文字還是影片,AI 都能即時理解並生成恰當的回應。

與市場上其他實時互動系統相比,Wan-Streamer 展現了卓越的響應速度,整體延遲僅為 0.55 秒(包含網路傳輸),顯著快於大多數現有的語音對話模型。此外,其影片質量也得到了顯著提升,解析度從 192×336 提升至 640×368,使場景細節更加清晰可見。
這一技術突破源於其獨特的架構設計。傳統的實時互動系統通常採用級聯流水線模式,導致資訊傳輸緩慢且容易出現同步問題。Wan-Streamer 引入了流式單元的概念,使其能夠在 160 毫秒內完成使用者輸入感知、狀態更新和響應生成,從而實現流暢的互動。
在此版本中,AI 不再只是一個“浮動頭像”,而是一個能夠自然表達情感和動作的全身數字人。你可以看到 AI 的眼神交流、姿態和手勢,以及其周圍的環境。這種設計讓使用者在與 AI 互動時感受到更強的真實感和溫暖感。
此外,Wan-Streamer v0.2 的應用場景非常廣泛,包括口語練習、心理諮詢、教育輔導、遊戲 NPC 互動等,涵蓋了幾乎所有需要“在場感”的領域。
綜上所述,Wan-Streamer v0.2 透過原生流式架構與分散式推理的結合,使 AI 交流更貼近真實的人類互動。這項技術未來的進一步發展值得我們持續關注。
Meta 希望你的下一個智慧裝置搭載 Muse 功能
Meta 的 Muse 是一個處理旅行預訂、表單提交和購物的 AI 助手,已獲得廣泛採用,但一項新舉措可能特別吸引開發者和硬體愛好者。週五,Meta 推出了 Muse Gadgets,這是一個開源專案,使開發者能夠建立與 Muse 整合的定製硬體。Meta 正在釋出開源韌體和 Linux 軟體開發工具包(SDK),以及 starter 專案概念。這些概念包括為 Muse 新增彩色電子墨水顯示屏,或將軟體嵌入 HDMI 棒以實現電視連線。限制很少。使用者可以部署低成本愛好者計算機,如 Rasp
Meta 加入臺積電和美光,為新型伺服器配備舊款記憶體
隨著人工智慧在全球範圍內的採用加速,下一代 DDR5 記憶體正經歷嚴重的供應短缺。為了避免 AI 資料中心部署出現延誤,Meta 與臺積電(TSMC)和美光(Micron)等行業領導者合作,開發了一種突破性的過渡解決方案。這項創新使得原本專為 DDR5 設計的先進 AI 伺服器能夠與較舊的 DDR4 模組無縫協同工作。該系統被稱為“弗蘭肯斯坦”(Frankenstein)配置,在現實世界測試中表現出卓越的穩定性,為突破當前的供應鏈瓶頸提供了可行的出路。彌合硬體鴻溝DDR5 與 DDR4 之間的向後
時序資料庫如何賦能實時機器人資料
Doug Pagnutti,Tiger Data 公司。Pagnutti 擔任 Tiger Data 的工業開發者倡導者,支援團隊構建現實世界中的工業系統。他在石油天然氣和製造自動化領域擁有超過 12 年的經驗,曾從事可程式設計邏輯控制器(PLC)、機器人和 SCADA 系統的工作,隨後轉至 Dell EMC 和 VTScada 從事工業軟體開發。他透過幫助自動化工程師解決大規模 IIoT 部署中的時間序列資料基礎設施問題,彌合了運營技術(OT)與資訊科技(IT)之間的差距。顯示時間線8:43 –





首頁






