옵션
집
속보
콘텐츠
RaymondWalker
RaymondWalker
2026년 8월 4일

Swift + Metal 런타임인 Swiftlet은 Qwen3.6-35B-A3B 및 Qwen3-Next-80B-A3B와 같은 대규모 MoE 모델을 RAM에는 밀집 코어만 유지하고 전문가 가중치는 SSD에서 스트리밍함으로써 최소한의 메모리만 사용해 실행할 수 있게 해줍니다. M5 Mac에서 35B 모델은 최대 2.6GB(7–11 tok/s)를, 80B 모델은 최대 4.3GB(4.5–5 tok/s)를 기록합니다. 35B 버전은 iPhone 17에서도 약 2.5GB의 메모리를 사용하며 1 tok/s의 속도로 네이티브로 실행됩니다. 이 시스템은 세분화된 토큰-전문가 라우팅, 프리드(pread) 기반 SSD 데이터 가져오기, LFU 캐싱, 런타임 컴파일된 Metal 셰이더를 사용하며, iOS 배포 및 OpenAI 호환 서버 인터페이스를 지원합니다.

Swift + Metal 런타임인 Swiftlet은 Qwen3.6-35B-A3B 및 Qwen3-Next-80B-A3B와 같은 대규모 MoE 모델을 RAM에는 밀집 코어만 유지하고 전문가 가중치는 SSD에서 스트리밍함으로써 최소한의 메모리만 사용해 실행할 수 있게 해줍니다. M5 Mac에서 35B 모델은 최대 2.6GB(7–11 tok/s)를, 80B 모델은 최대 4.3GB(4.5–5 tok/s)를 기록합니다. 35B 버전은 iPhone 17에서도 약 2.5GB의 메모리를 사용하며 1 tok/s의 속도로 네이티브로 실행됩니다. 이 시스템은 세분화된 토큰-전문가 라우팅, 프리드(pread) 기반 SSD 데이터 가져오기, LFU 캐싱, 런타임 컴파일된 Metal 셰이더를 사용하며, iOS 배포 및 OpenAI 호환 서버 인터페이스를 지원합니다.
의견 (0)
0/300
OR