Swiftlet 是一款基於 Swift + Metal 的執行環境,透過僅將稠密核心保留在 RAM 中,並從 SSD 串流專家權重,使 Qwen3.6-35B-A3B 和 Qwen3-Next-80B-A3B 等大型 MoE 模型能以極低的記憶體需求運行。 在 M5 Mac 上,35B 模型的記憶體使用量峰值為 2.6GB(7–11 tok/s),而 80B 模型的記憶體使用量峰值則為 4.3GB(4.5–5 tok/s)。 35B 版本亦可原生運行於 iPhone 17 上,記憶體使用量約為 2.5GB,處理速度為 1 tok/s。 該系統採用細粒度的「代碼片段至專家模型」路由機制、基於預讀取的 SSD 資料擷取、LFU 快取機制,以及執行時編譯的 Metal 著色器,支援 iOS 部署與相容於 OpenAI 的伺服器介面。
評論 (0)
0/300





首頁
