選項
首頁
新聞
Qwen 3.5-Omni 以 215 項 SOTA 紀錄刷新紀錄,開啟全感官 AI 時代

Qwen 3.5-Omni 以 215 項 SOTA 紀錄刷新紀錄,開啟全感官 AI 時代

2026-04-06
185

同益實驗室(Tongyi Lab)昨晚正式推出全新多模態大型模型 Qwen3.5-Omni。相較於前代模型,該模型在理解能力、互動能力及任務執行能力方面均有顯著躍進,將人工智慧從「受限於螢幕的助理」轉變為「能理解實體世界的智能代理」。

核心突破:全模態處理與 215 項 SOTA 基準測試

Qwen3.5-Omni 採用原生「全模態」架構,能夠無縫處理文字、圖像、音訊及影片。 在涵蓋視聽分析、推理、對話及翻譯的各項評估中,該模型共取得 215 項最先進(SOTA)成績。值得注意的是,其整體語音理解與辨識能力已超越 Gemini-3.1Pro 等模型,而視覺與文本表現仍維持頂尖水準,與同規模的對應模型 Qwen3.5 並駕齊驅。

QQ20260331-090527.jpg

技術架構:混合注意力 MoE

該模型以經典的 Thinker-Talker 框架為基礎,並進行了根本性的架構革新:

Thinker(理解中心):升級為混合注意力專家混合(MoE)架構,支援長達 256K 令牌的超長上下文。這使其能處理長達 10 小時的音訊1 小時的影片,並透過 TMRoPE 技術精準捕捉長序列中的細微細節。

Talker(表達中心):整合了全新的 ARIA 技術與 RVQ 編碼,取代了運算負荷沉重的 DiT 流程。這不僅解決了音訊生成中常見的詞彙遺漏與數字發音錯誤等問題,更賦予模型強大的即時語音控制能力。

實際應用:從氛圍編碼到聲音克隆

Qwen3.5-Omni 的能力開啟了多項顛覆性的應用場景:

自然湧現的程式碼生成:該模型無需特定訓練即可展現出色的程式碼理解與生成能力,能直接根據影片邏輯產出 Python 程式碼或前端原型。

類人即時互動:支援語義中斷功能。它能區分背景噪音(如咳嗽聲)與有意中斷,使用者可透過簡單指令調整語氣(例如「開心的」)及音量。

細粒度影片分析:可生成結構化且帶時間戳的字幕,精準識別影片中的動作、背景音樂變化及鏡頭切換。

個人化語音克隆:使用者只需上傳一段短音頻樣本,即可創建高度自然的個人化「數位語音」,並支援 113 種語言。

Qwen3.5-Omni 現已於阿里雲白蓮平台推出 Plus、Flash 及 Light 版本。此外,亦可透過 ModelScope 社群存取即時對話(Realtime)API 及示範程式。

相關文章
DeepMind執行長哈西里斯:我每天睡六個小時,通常在凌晨1點左右感到精力充沛。 DeepMind執行長哈西里斯:我每天睡六個小時,通常在凌晨1點左右感到精力充沛。 Fortune 最近刊登了對谷歌 DeepMind 執行長 Demis Hassabis 的採訪,揭示了他對休息和生產力的非傳統方法。Hassabis 透露,他睡眠時間非常少,將清醒時間劃分為兩個不同的工作階段。關於他的睡眠習慣,Hassabis 表示:“我目標睡六小時,但我的習慣非同尋常。我可以在白天有效運作。”他強調,睡眠少於六小時會對大腦健康產生負面影響。Hassabis 於 2010 年聯合創立了 DeepMind(後被谷歌收購),並因其在蛋白質結構預測方面的開創性工作榮獲 20
儘管營收未達預期,OpenAI 與 Anthropic 仍爭奪市場份額 儘管營收未達預期,OpenAI 與 Anthropic 仍爭奪市場份額 儘管近期有報導指出 OpenAI 未達營收目標,導致本週二科技股承壓,但私人人工智慧實驗室的投資者仍展現出韌性。資深投資者已確認,儘管媒體報導負面,他們仍不會削減投資。分析師認為當前的 AI 競逐仍處於初期階段,因此排除「贏家通吃」的結果。儘管高昂的運算成本對營收造成壓力,但各實驗室可透過調高訂閱費來提升獲利能力。產業格局正經歷微妙的變化與 OpenAI 不同,競爭對手 Anthropic 獲得了
加州自動駕駛合規:罰單、地理圍欄與 100 萬英里的新時代 加州自動駕駛合規:罰單、地理圍欄與 100 萬英里的新時代 Guident 在南佛羅里達州營運一輛 AuveTech 接駁車,並運用其遠端監控技術,管理西棕櫚灘的一條四英里路線以及博卡拉頓的一條一英里路線。| 圖片來源:Guident加州正重新定義無人駕駛車輛的監管格局,從科技產業的「快速行動、打破常規」心態,轉向嚴格的問責制與嚴謹的行駛里程要求。Guident 執行董事長兼執行長哈羅德·布勞恩(Harold Braun)在《機器人報告》(The Robo
相關專題推薦
視頻創作 適用於 Reels、Shorts 及產品上市活動的 AI 短影片吸睛開場生成器
適用於 Reels、Shorts 及產品上市活動的 AI 短影片吸睛開場生成器

2026 年最新最佳 AI 短影片開場白生成器,適用於 Reels、Shorts 及產品上市活動!XIX.AI 嚴選備受好評、功能強大且能顛覆遊戲規則的工具,這些工具皆經過實際測試,能帶來絕對值得一試的成果。本頁面每週更新,提供免費與付費版本的比較排行榜,助您找到提升內容創意與生產力的完美解決方案。 立即探索,釋放您的 AI 競爭優勢!

11 個工具
xix.ai
寫作 適用於長篇寫作的 AI 文章大綱工具
適用於長篇寫作的 AI 文章大綱工具

2026 年最新、最受好評的長文寫作 AI 大綱工具!這份精選清單收錄了強大且具顛覆性的工具,能透過實際測試生成精準、結構化的大綱,大幅提升寫作效率。XIX.AI 正是這份菁英名單中的一員。 獲取免費版與付費版的比較指南,助您挑選最合適的工具。立即探索,釋放您的 AI 優勢!

9 個工具
xix.ai
聊天機器人 用於語言練習、面試準備和日常流利度的最佳 AI 角色扮演聊天應用
用於語言練習、面試準備和日常流利度的最佳 AI 角色扮演聊天應用

2026 年最新最佳頂級評分 AI 角色扮演聊天應用,用於語言練習、面試準備和日常流利度!XIX.AI 精心策劃了一個強大的變革性合集,提供免費與付費對比、真實世界測試以及每週更新的排名。這些必試工具可幫助您提升寫作技能,克服流利度挑戰,並提高所有日常場景下的溝通效率。立即探索,發現您語言成長的完美工具!

10 個工具
xix.ai
音樂創作 用於混音製作、取樣準備及卡拉OK母帶處理的 AI 聲部分離工具
用於混音製作、取樣準備及卡拉OK母帶處理的 AI 聲部分離工具

2026年最新、最優秀且評分最高的AI音軌分離工具彙總,專為混音製作、取樣準備以及卡拉OK音訊處理而設計。這些功能強大的創新工具經過實際測試,能夠實現精準的音訊分離,顯著提升工作效率。XIX.AI每週都會更新免費的付費產品對比指南,幫助您找到最適合自身需求的工具。立即探索,發揮您的AI優勢。

8 個工具
xix.ai
數據分析 用於收入看板、轉化漏斗分析及產品指標分析的 AI SQL 助手
用於收入看板、轉化漏斗分析及產品指標分析的 AI SQL 助手

2026年最新最優秀的AI SQL輔助工具排名揭曉!XIX.AI精心挑選了一系列功能強大的工具,這些工具會定期更新,並透過真實的場景測試來驗證其效能。使用這些值得嘗試的工具,您可以快速生成精準的收入分析報表、分析銷售流程,並追蹤產品各項指標,從而大幅提升工作效率。立即探索,找到最適合您的資料驅動決策工具!238個字元

9 個工具
xix.ai
音樂創作 最佳用於歌曲草稿的 AI 旋律創作工具
最佳用於歌曲草稿的 AI 旋律創作工具

2026 年最新最佳頂級評分 AI 旋律創作工具,助力歌曲草稿創作!XIX.AI 精心策劃了一套極具影響力且經過嚴格真實世界測試的變革性合集,旨在提供最佳的創作體驗。您可以找到詳細的免費與付費版對比、精準的排名以及必試選項,這些工具旨在幫助您輕鬆創作出令人驚豔的歌曲草稿,並顯著提升您的創意生產力。立即探索,發現您的完美工具!

8 個工具
xix.ai
評論 (1)
0/500
ScottWalker
ScottWalker 2026-06-23 06:00:16

'Screen-bound assistant'? More like screen-bound hype. 😏 215 SOTA benchmarks is impressive, but let's see how it performs in real-world chaos. Still, exciting times for multimodal AI!

OR