オプション
家
速報
コンテンツ
RaymondWalker
RaymondWalker
2026年8月4日

Swiftletは、Swift + Metalランタイムであり、Qwen3.6-35B-A3BやQwen3-Next-80B-A3Bといった大規模なMoEモデルについて、密なコアのみをRAMに保持し、エキスパート重みをSSDからストリーミングすることで、最小限のメモリで実行できるようにします。 M5搭載のMacでは、35Bモデルは最大2.6GB(7~11 tok/s)、80Bモデルは最大4.3GB(4.5~5 tok/s)となります。 また、35BバージョンはiPhone 17上でもネイティブに動作し、約2.5GBのメモリ使用量で1 tok/sの処理速度を実現します。 このシステムは、きめ細かなトークンからエキスパートへのルーティング、プレアド(pread)ベースのSSDフェッチ、LFUキャッシュ、およびランタイムコンパイルされたMetalシェーダーを採用しており、iOSへの展開やOpenAI互換のサーバーインターフェースをサポートしています。

Swiftletは、Swift + Metalランタイムであり、Qwen3.6-35B-A3BやQwen3-Next-80B-A3Bといった大規模なMoEモデルについて、密なコアのみをRAMに保持し、エキスパート重みをSSDからストリーミングすることで、最小限のメモリで実行できるようにします。 M5搭載のMacでは、35Bモデルは最大2.6GB(7~11 tok/s)、80Bモデルは最大4.3GB(4.5~5 tok/s)となります。 また、35BバージョンはiPhone 17上でもネイティブに動作し、約2.5GBのメモリ使用量で1 tok/sの処理速度を実現します。 このシステムは、きめ細かなトークンからエキスパートへのルーティング、プレアド(pread)ベースのSSDフェッチ、LFUキャッシュ、およびランタイムコンパイルされたMetalシェーダーを採用しており、iOSへの展開やOpenAI互換のサーバーインターフェースをサポートしています。
コメント (0)
0/300
OR