蘋果與 LM Studio 宣布建立突破性合作關係,四家以 Mac 為基礎的工作室將部署擁有兆級參數的大型模型

WWDC 突破性展示:在 Apple 硬體上運行一兆參數的人工智慧模型
在最近舉行的 WWDC 大會上,AI 軟體平台 LM Studio 與 Apple 合作,展示了一項人工智慧技術的突破性成就。 該團隊成功利用由四台 Mac Studio 組成的叢集,運行了 Moonshot AI 的旗艦模型 Kimi K2.6。這項展示清楚地說明了 Apple Silicon 架構在處理超大規模 AI 模型方面的強大能力。
Kimi K2.6 模型基於先進的 MoE 架構建置,總參數多達一兆個。雖然該模型的動態專家調度系統透過每次僅啟用約 320 億個參數,來降低推論過程中的運算負載,但載入整個模型仍面臨巨大的記憶體挑戰。 若以 FP16 精度進行處理,則需要約 2TB 的記憶體。在傳統的資料中心架構中,要滿足此需求通常需使用配備 8 至 16 顆高階 GPU 的伺服器叢集,成本可能高達數百萬美元。
然而,此次展示透過創新的技術方案克服了這項限制。四台配備 M3 Ultra 晶片的 Mac Studio 透過 Thunderbolt 5 介面相互連接,並利用最新 macOS 版本中支援的「Thunderbolt 上的 RDMA(RDMA-over-Thunderbolt)」技術。 此方法使裝置之間能夠直接共享記憶體,將總計 2TB 的統一記憶體有效整合為單一邏輯記憶體池。因此,該兆參數模型得以順利載入。在現場示範中,該叢集展現出強勁的效能,每秒可生成約 28 個標記(token),且功耗遠低於傳統基於 GPU 的運算中心。
除了這項展示外,LM Studio 亦在此次合作中推出了 LM Link。此工具基於 Tailscale Mesh VPN 架構建構,讓使用者能透過端對端加密連線,從任何地點安全地存取本地的 Mac Studio 叢集。 使用者無論透過 MacBook 或 iPhone,皆可利用該叢集的運算能力進行推論,無需親臨主機裝置旁。所有敏感資料均在安全的封閉迴路中進行本地處理,避免經由第三方雲端伺服器進行任何資料傳輸。
此次展示不僅是一場技術展示,更向業界傳達了明確的訊息。 Apple Silicon 憑藉其統一記憶體設計與高效的多裝置連線功能,正逐漸成為部署大型 AI 模型的可行選擇。對於需要頻繁且長期執行大型模型推論任務的組織而言,此解決方案透過以硬體投資取代雲端服務,消除了相關的高昂成本,並能隨時間推移帶來顯著的成本節省。
隨著消費級硬體叢集的性能持續提升,採用 AI 技術的門檻正進一步降低。這項成就表明,尖端 AI 創新的來源將不再僅限於擁有大型超級電腦設施的少數科技巨頭。在去中心化的運算格局下,近期很可能出現新的發展契機。
相關文章
「登月計畫」:中國這款擁有 2.8 兆參數的人工智慧能否與美國科技公司一較高下?
2026年2月,Anthropic指控中國人工智慧實驗室DeepSeek、Moonshot和MiniMax發動「工業規模的行動」,以「非法擷取Claude的能力來提升自身模型」。圖片來源:Alvan Nee/Unsplash中國人工智慧公司 Moonshot 推出了 Kimi K3,聲稱其性能可與美國前沿模型匹敵;與此同時,中國國家主席習近平正呼籲建立全球人工智慧治理機制中國人工智慧新創公司 Mo
Cozy 3.0 正式釋出,支援多人及多智慧體協作
位元組跳動已正式釋出 Coze 3.0,在 Agent 建立方面引入了全新方法,同時在團隊協作和生態系統整合方面帶來了重大進展。此次更新優先考慮協作效率,全面支援“一個使用者 + 多個 Agent”和“多個使用者 + 多個 Agent”等靈活配置。為了簡化團隊合作,系統現在具備多專案管理機制,可自動整理和歸檔資產。深度整合本地生態系統,實現無縫跨平臺工作流在技術生態開放性方面,新平臺實現了主流環境之間的無縫過渡。使用者現在可以自由訪問各種本地 Agent,包括 Claude Code、Codex CLI
微軟升級 Copilot 筆記本,新增任務委派、Office 編輯和互動式報告功能
微軟正在向 Copilot Notebooks 推出關鍵更新,包括任務委派、Office 文件就地編輯以及互動式報告。這一轉變將該工具從簡單的 AI 組織者轉變為執行任務的綜合智慧工作空間。根據微軟 2026 年 10 月的更新,這些功能正透過 Frontier Preview Program 逐步釋出。Copilot Notebooks 已整合文件、電子郵件和會議記錄,以回答問題、生成學習指南並建立音訊摘要。透過此次更新,使用者可以將任務委派給 Copilot 並安排定期自動化操作,例如每日簡報
相關專題推薦
評論 (0)
0/500

WWDC 突破性展示:在 Apple 硬體上運行一兆參數的人工智慧模型
在最近舉行的 WWDC 大會上,AI 軟體平台 LM Studio 與 Apple 合作,展示了一項人工智慧技術的突破性成就。 該團隊成功利用由四台 Mac Studio 組成的叢集,運行了 Moonshot AI 的旗艦模型 Kimi K2.6。這項展示清楚地說明了 Apple Silicon 架構在處理超大規模 AI 模型方面的強大能力。
Kimi K2.6 模型基於先進的 MoE 架構建置,總參數多達一兆個。雖然該模型的動態專家調度系統透過每次僅啟用約 320 億個參數,來降低推論過程中的運算負載,但載入整個模型仍面臨巨大的記憶體挑戰。 若以 FP16 精度進行處理,則需要約 2TB 的記憶體。在傳統的資料中心架構中,要滿足此需求通常需使用配備 8 至 16 顆高階 GPU 的伺服器叢集,成本可能高達數百萬美元。
然而,此次展示透過創新的技術方案克服了這項限制。四台配備 M3 Ultra 晶片的 Mac Studio 透過 Thunderbolt 5 介面相互連接,並利用最新 macOS 版本中支援的「Thunderbolt 上的 RDMA(RDMA-over-Thunderbolt)」技術。 此方法使裝置之間能夠直接共享記憶體,將總計 2TB 的統一記憶體有效整合為單一邏輯記憶體池。因此,該兆參數模型得以順利載入。在現場示範中,該叢集展現出強勁的效能,每秒可生成約 28 個標記(token),且功耗遠低於傳統基於 GPU 的運算中心。
除了這項展示外,LM Studio 亦在此次合作中推出了 LM Link。此工具基於 Tailscale Mesh VPN 架構建構,讓使用者能透過端對端加密連線,從任何地點安全地存取本地的 Mac Studio 叢集。 使用者無論透過 MacBook 或 iPhone,皆可利用該叢集的運算能力進行推論,無需親臨主機裝置旁。所有敏感資料均在安全的封閉迴路中進行本地處理,避免經由第三方雲端伺服器進行任何資料傳輸。
此次展示不僅是一場技術展示,更向業界傳達了明確的訊息。 Apple Silicon 憑藉其統一記憶體設計與高效的多裝置連線功能,正逐漸成為部署大型 AI 模型的可行選擇。對於需要頻繁且長期執行大型模型推論任務的組織而言,此解決方案透過以硬體投資取代雲端服務,消除了相關的高昂成本,並能隨時間推移帶來顯著的成本節省。
隨著消費級硬體叢集的性能持續提升,採用 AI 技術的門檻正進一步降低。這項成就表明,尖端 AI 創新的來源將不再僅限於擁有大型超級電腦設施的少數科技巨頭。在去中心化的運算格局下,近期很可能出現新的發展契機。
「登月計畫」:中國這款擁有 2.8 兆參數的人工智慧能否與美國科技公司一較高下?
2026年2月,Anthropic指控中國人工智慧實驗室DeepSeek、Moonshot和MiniMax發動「工業規模的行動」,以「非法擷取Claude的能力來提升自身模型」。圖片來源:Alvan Nee/Unsplash中國人工智慧公司 Moonshot 推出了 Kimi K3,聲稱其性能可與美國前沿模型匹敵;與此同時,中國國家主席習近平正呼籲建立全球人工智慧治理機制中國人工智慧新創公司 Mo
Cozy 3.0 正式釋出,支援多人及多智慧體協作
位元組跳動已正式釋出 Coze 3.0,在 Agent 建立方面引入了全新方法,同時在團隊協作和生態系統整合方面帶來了重大進展。此次更新優先考慮協作效率,全面支援“一個使用者 + 多個 Agent”和“多個使用者 + 多個 Agent”等靈活配置。為了簡化團隊合作,系統現在具備多專案管理機制,可自動整理和歸檔資產。深度整合本地生態系統,實現無縫跨平臺工作流在技術生態開放性方面,新平臺實現了主流環境之間的無縫過渡。使用者現在可以自由訪問各種本地 Agent,包括 Claude Code、Codex CLI
微軟升級 Copilot 筆記本,新增任務委派、Office 編輯和互動式報告功能
微軟正在向 Copilot Notebooks 推出關鍵更新,包括任務委派、Office 文件就地編輯以及互動式報告。這一轉變將該工具從簡單的 AI 組織者轉變為執行任務的綜合智慧工作空間。根據微軟 2026 年 10 月的更新,這些功能正透過 Frontier Preview Program 逐步釋出。Copilot Notebooks 已整合文件、電子郵件和會議記錄,以回答問題、生成學習指南並建立音訊摘要。透過此次更新,使用者可以將任務委派給 Copilot 並安排定期自動化操作,例如每日簡報





首頁






