iPhone 17 Pro 以每秒 0.6 个词元的速度在本地运行 4000 亿参数模型

现代智能手机的计算上限究竟由什么定义?苹果最新的旗舰产品 iPhone17Pro 给出了一个既令人印象深刻又令人谦卑的答案。
3月23日,一个拥有 4000亿参数 的大语言模型在 iPhone17Pro 上成功运行。值得注意的是,即使经过量化处理,此类模型通常仍需至少 200GB 的内存,而 iPhone17Pro 仅配备了 12GB LPDDR5X RAM。
技术创新:闪存流式传输与混合专家(MoE)
克服严重的内存限制,这一“不可能完成的任务”主要通过两项关键技术策略实现:
将 SSD 作为虚拟内存: 利用开源项目 Flash-MoE,设备直接从固态硬盘(SSD)向 GPU 流式传输数据,从而有效绕过物理内存的限制。
MoE 架构的优势: “MoE”意为混合专家(Mixture of Experts),这是一种设计模式,系统在生成每个词时仅激活 4000 亿参数中的一部分,而不是加载整个模型。
性能权衡:生成速度缓慢
虽然执行成功,但用户体验仍远未达到实用水平。测试结果表明:
生成速率: 速度限制为 每秒 0.6 个 Token,这意味着生成单个词大约需要 1.5 到 2 秒。
功耗与热影响: 这种高强度的本地处理会迅速耗尽电池电量并产生大量热量。
行业视角:本地 AI 是否达到了“奇点”?
尽管当前的生成速度并不理想,但此次演示的象征意义超过了其直接效用。它证明了在智能手机上本地运行大规模模型是一条可行的路径。
增强的隐私保护: 本地处理确保数据保留在设备内,无需上传至云端,从而提供更优越的隐私保护。
离线能力: 无需互联网连接即可访问高级 AI 响应正变得越来越可行。
相关文章
Google 更新 Gemini 应用,以在 IO 2026 上与 ChatGPT 和 Claude 展开竞争
在周二举行的年度 Google I/O 大会上,Google 公布了一系列针对 Gemini 应用的更新,推出了“每日简报”(Daily Brief)功能、全新界面、对新一代 Gemini Omni AI 视频模型的访问权限,以及名为 Gemini Spark 的个人 AI 智能体。这些增强功能凸显了 Google 将 Gemini 应用打造为综合 AI 中心而非独立聊天机器人的战略,旨在更有效地与 ChatGPT 和 Claude 等竞争对手抗衡。Google 将“每日简报”描述为个性化的晨间
千问创作推出7天会员,含200积分及旅行摄影快速通道工具
Qwen Create 正式推出为期 7 天的会员计划,专为即时、轻量级的 AI 创作任务设计,涵盖旅行摄影、活动营销及社交媒体内容创作。购买后,用户将获得 200 积分、专属高速生成通道权限,以及新模型和功能的优先体验权。短期计划降低试用门槛与月度订阅相比,7 天会员通过更短的使用周期显著降低了入门门槛。对于需要为旅行、活动或社交媒体活动生成 AI 图像或文案的用户而言,该计划既能避免长期承诺,又能解锁高速生成和新功能抢先体验等核心权益。目前,用户可通过 Qwen Create App
iOS 27.2 测试版带来健康应用重大更新,Siri 扩展至五种语言
苹果刚刚为开发者发布了首个 iOS 27.2 测试版。跳过了预期的 iOS 27.1 测试阶段,苹果于 9 月 16 日直接启动了 27.2 测试周期,同时推送了 iOS、iPadOS、macOS、watchOS、tvOS 和 visionOS 的初始测试版。iOS 27.1 似乎专为即将推出的折叠屏 iPhone Duo 预留,该设备将于 10 月 23 日发布,并预装该系统。健康应用重新设计:洞察、长寿与相机自检9 月 9 日发布的改版健康应用包含“洞察”、“长寿”和“浏览”标签页。“洞察”
相关专题推荐
评论 (0)
0/500

现代智能手机的计算上限究竟由什么定义?苹果最新的旗舰产品
3月23日,一个拥有 4000亿参数 的大语言模型在
技术创新:闪存流式传输与混合专家(MoE)
克服严重的内存限制,这一“不可能完成的任务”主要通过两项关键技术策略实现:
将 SSD 作为虚拟内存: 利用开源项目 Flash-MoE,设备直接从固态硬盘(SSD)向 GPU 流式传输数据,从而有效绕过物理内存的限制。
MoE 架构的优势: “MoE”意为混合专家(Mixture of Experts),这是一种设计模式,系统在生成每个词时仅激活 4000 亿参数中的一部分,而不是加载整个模型。
性能权衡:生成速度缓慢
虽然执行成功,但用户体验仍远未达到实用水平。测试结果表明:
生成速率: 速度限制为 每秒 0.6 个 Token,这意味着生成单个词大约需要 1.5 到 2 秒。
功耗与热影响: 这种高强度的本地处理会迅速耗尽电池电量并产生大量热量。
行业视角:本地 AI 是否达到了“奇点”?
尽管当前的生成速度并不理想,但此次演示的象征意义超过了其直接效用。它证明了在智能手机上本地运行大规模模型是一条可行的路径。
增强的隐私保护: 本地处理确保数据保留在设备内,无需上传至云端,从而提供更优越的隐私保护。
离线能力: 无需互联网连接即可访问高级 AI 响应正变得越来越可行。
Google 更新 Gemini 应用,以在 IO 2026 上与 ChatGPT 和 Claude 展开竞争
在周二举行的年度 Google I/O 大会上,Google 公布了一系列针对 Gemini 应用的更新,推出了“每日简报”(Daily Brief)功能、全新界面、对新一代 Gemini Omni AI 视频模型的访问权限,以及名为 Gemini Spark 的个人 AI 智能体。这些增强功能凸显了 Google 将 Gemini 应用打造为综合 AI 中心而非独立聊天机器人的战略,旨在更有效地与 ChatGPT 和 Claude 等竞争对手抗衡。Google 将“每日简报”描述为个性化的晨间
千问创作推出7天会员,含200积分及旅行摄影快速通道工具
Qwen Create 正式推出为期 7 天的会员计划,专为即时、轻量级的 AI 创作任务设计,涵盖旅行摄影、活动营销及社交媒体内容创作。购买后,用户将获得 200 积分、专属高速生成通道权限,以及新模型和功能的优先体验权。短期计划降低试用门槛与月度订阅相比,7 天会员通过更短的使用周期显著降低了入门门槛。对于需要为旅行、活动或社交媒体活动生成 AI 图像或文案的用户而言,该计划既能避免长期承诺,又能解锁高速生成和新功能抢先体验等核心权益。目前,用户可通过 Qwen Create App
iOS 27.2 测试版带来健康应用重大更新,Siri 扩展至五种语言
苹果刚刚为开发者发布了首个 iOS 27.2 测试版。跳过了预期的 iOS 27.1 测试阶段,苹果于 9 月 16 日直接启动了 27.2 测试周期,同时推送了 iOS、iPadOS、macOS、watchOS、tvOS 和 visionOS 的初始测试版。iOS 27.1 似乎专为即将推出的折叠屏 iPhone Duo 预留,该设备将于 10 月 23 日发布,并预装该系统。健康应用重新设计:洞察、长寿与相机自检9 月 9 日发布的改版健康应用包含“洞察”、“长寿”和“浏览”标签页。“洞察”





首页






