Swiftlet 是一款基于 Swift 和 Metal 的运行时,它通过仅将稠密核心保留在 RAM 中,同时从 SSD 流式加载专家权重,使 Qwen3.6-35B-A3B 和 Qwen3-Next-80B-A3B 等大型 MoE 模型能够以极低的内存占用运行。 在 M5 Mac 上,35B 模型的峰值内存占用为 2.6GB(7–11 tok/s),80B 模型的峰值内存占用为 4.3GB(4.5–5 tok/s)。 35B 版本还可在 iPhone 17 上原生运行,内存占用约为 2.5GB,处理速度为 1 tok/s。 该系统采用精细的令牌到专家路由机制、基于预读的 SSD 数据获取、LFU 缓存以及运行时编译的 Metal 着色器,支持 iOS 部署和与 OpenAI 兼容的服务器接口。
评论 (0)
0/300





首页
