iPhone 17 Pro 以每秒 0.6 個詞元的速度在本地執行 4000 億引數模型

現代智慧手機的計算上限究竟由什麼定義?蘋果最新的旗艦產品 iPhone17Pro 給出了一個既令人印象深刻又令人謙卑的答案。
3月23日,一個擁有 4000億引數 的大語言模型在 iPhone17Pro 上成功執行。值得注意的是,即使經過量化處理,此類模型通常仍需至少 200GB 的記憶體,而 iPhone17Pro 僅配備了 12GB LPDDR5X RAM。
技術創新:快閃記憶體流式傳輸與混合專家(MoE)
克服嚴重的記憶體限制,這一“不可能完成的任務”主要透過兩項關鍵技術策略實現:
將 SSD 作為虛擬記憶體: 利用開源專案 Flash-MoE,裝置直接從固態硬碟(SSD)向 GPU 流式傳輸資料,從而有效繞過實體記憶體的限制。
MoE 架構的優勢: “MoE”意為混合專家(Mixture of Experts),這是一種設計模式,系統在生成每個詞時僅啟用 4000 億引數中的一部分,而不是載入整個模型。
效能權衡:生成速度緩慢
雖然執行成功,但使用者體驗仍遠未達到實用水平。測試結果表明:
生成速率: 速度限制為 每秒 0.6 個 Token,這意味著生成單個詞大約需要 1.5 到 2 秒。
功耗與熱影響: 這種高強度的本地處理會迅速耗盡電池電量併產生大量熱量。
行業視角:本地 AI 是否達到了“奇點”?
儘管當前的生成速度並不理想,但此次演示的象徵意義超過了其直接效用。它證明了在智慧手機上本地執行大規模模型是一條可行的路徑。
增強的隱私保護: 本地處理確保資料保留在裝置內,無需上傳至雲端,從而提供更優越的隱私保護。
離線能力: 無需網際網路連線即可訪問高階 AI 響應正變得越來越可行。
相關文章
千問創作推出7天會員,含200積分及旅行攝影快速通道工具
Qwen Create 正式推出為期 7 天的會員計劃,專為即時、輕量級的 AI 創作任務設計,涵蓋旅行攝影、活動營銷及社交媒體內容創作。購買後,使用者將獲得 200 積分、專屬高速生成通道許可權,以及新模型和功能的優先體驗權。短期計劃降低試用門檻與月度訂閱相比,7 天會員透過更短的使用週期顯著降低了入門門檻。對於需要為旅行、活動或社交媒體活動生成 AI 影象或文案的使用者而言,該計劃既能避免長期承諾,又能解鎖高速生成和新功能搶先體驗等核心權益。目前,使用者可透過 Qwen Create App
iOS 27.2 測試版帶來健康應用重大更新,Siri 擴充套件至五種語言
蘋果剛剛為開發者釋出了首個 iOS 27.2 測試版。跳過了預期的 iOS 27.1 測試階段,蘋果於 9 月 16 日直接啟動了 27.2 測試周期,同時推送了 iOS、iPadOS、macOS、watchOS、tvOS 和 visionOS 的初始測試版。iOS 27.1 似乎專為即將推出的摺疊屏 iPhone Duo 預留,該裝置將於 10 月 23 日釋出,並預裝該系統。健康應用重新設計:洞察、長壽與相機自檢9 月 9 日釋出的改版健康應用包含“洞察”、“長壽”和“瀏覽”標籤頁。“洞察”
位元組跳動的王長虎在6個月內籌集了13.5億美元,解鎖了十億美元估值
在人工智慧影片生成領域快速演變的格局中,王長虎是一位值得關注的核心人物。作為位元組跳動前視覺技術負責人以及愛數科技(Aishitech)的創始人兼執行長,他展現了卓越的團隊執行力和快速的技術迭代能力。短短六個月內,愛數科技獲得了25億元人民幣的投資,估值達到10億美元,躋身獨角獸行列。這一迅速崛起使王長虎成為從位元組跳動生態中湧現出的創業者中的傑出代表。在行業巨頭夾縫中開闢細分領域:愛數科技的“速度與激情”目前,人工智慧影片生成領域競爭異常激烈,各大科技巨頭紛紛採取重大舉措。位元組跳動的See
相關專題推薦
評論 (0)
0/500

現代智慧手機的計算上限究竟由什麼定義?蘋果最新的旗艦產品
3月23日,一個擁有 4000億引數 的大語言模型在
技術創新:快閃記憶體流式傳輸與混合專家(MoE)
克服嚴重的記憶體限制,這一“不可能完成的任務”主要透過兩項關鍵技術策略實現:
將 SSD 作為虛擬記憶體: 利用開源專案 Flash-MoE,裝置直接從固態硬碟(SSD)向 GPU 流式傳輸資料,從而有效繞過實體記憶體的限制。
MoE 架構的優勢: “MoE”意為混合專家(Mixture of Experts),這是一種設計模式,系統在生成每個詞時僅啟用 4000 億引數中的一部分,而不是載入整個模型。
效能權衡:生成速度緩慢
雖然執行成功,但使用者體驗仍遠未達到實用水平。測試結果表明:
生成速率: 速度限制為 每秒 0.6 個 Token,這意味著生成單個詞大約需要 1.5 到 2 秒。
功耗與熱影響: 這種高強度的本地處理會迅速耗盡電池電量併產生大量熱量。
行業視角:本地 AI 是否達到了“奇點”?
儘管當前的生成速度並不理想,但此次演示的象徵意義超過了其直接效用。它證明了在智慧手機上本地執行大規模模型是一條可行的路徑。
增強的隱私保護: 本地處理確保資料保留在裝置內,無需上傳至雲端,從而提供更優越的隱私保護。
離線能力: 無需網際網路連線即可訪問高階 AI 響應正變得越來越可行。
千問創作推出7天會員,含200積分及旅行攝影快速通道工具
Qwen Create 正式推出為期 7 天的會員計劃,專為即時、輕量級的 AI 創作任務設計,涵蓋旅行攝影、活動營銷及社交媒體內容創作。購買後,使用者將獲得 200 積分、專屬高速生成通道許可權,以及新模型和功能的優先體驗權。短期計劃降低試用門檻與月度訂閱相比,7 天會員透過更短的使用週期顯著降低了入門門檻。對於需要為旅行、活動或社交媒體活動生成 AI 影象或文案的使用者而言,該計劃既能避免長期承諾,又能解鎖高速生成和新功能搶先體驗等核心權益。目前,使用者可透過 Qwen Create App
iOS 27.2 測試版帶來健康應用重大更新,Siri 擴充套件至五種語言
蘋果剛剛為開發者釋出了首個 iOS 27.2 測試版。跳過了預期的 iOS 27.1 測試階段,蘋果於 9 月 16 日直接啟動了 27.2 測試周期,同時推送了 iOS、iPadOS、macOS、watchOS、tvOS 和 visionOS 的初始測試版。iOS 27.1 似乎專為即將推出的摺疊屏 iPhone Duo 預留,該裝置將於 10 月 23 日釋出,並預裝該系統。健康應用重新設計:洞察、長壽與相機自檢9 月 9 日釋出的改版健康應用包含“洞察”、“長壽”和“瀏覽”標籤頁。“洞察”
位元組跳動的王長虎在6個月內籌集了13.5億美元,解鎖了十億美元估值
在人工智慧影片生成領域快速演變的格局中,王長虎是一位值得關注的核心人物。作為位元組跳動前視覺技術負責人以及愛數科技(Aishitech)的創始人兼執行長,他展現了卓越的團隊執行力和快速的技術迭代能力。短短六個月內,愛數科技獲得了25億元人民幣的投資,估值達到10億美元,躋身獨角獸行列。這一迅速崛起使王長虎成為從位元組跳動生態中湧現出的創業者中的傑出代表。在行業巨頭夾縫中開闢細分領域:愛數科技的“速度與激情”目前,人工智慧影片生成領域競爭異常激烈,各大科技巨頭紛紛採取重大舉措。位元組跳動的See





首頁






