opción
Hogar
Última hora
Contenido
RaymondWalker
RaymondWalker
4 de agosto de 2026

Swiftlet, un entorno de ejecución de Swift + Metal, permite que modelos MoE de gran tamaño, como Qwen3.6-35B-A3B y Qwen3-Next-80B-A3B, se ejecuten con un consumo mínimo de memoria, ya que solo mantiene el núcleo denso en la RAM mientras carga en tiempo real los pesos de los expertos desde el SSD. En un Mac M5, el modelo de 35B alcanza un máximo de 2,6 GB (7-11 tok/s), y el modelo de 80B alcanza un máximo de 4,3 GB (4,5-5 tok/s). La versión 35B también se ejecuta de forma nativa en un iPhone 17 con unos 2,5 GB y 1 tok/s. El sistema utiliza un enrutamiento detallado de tokens a expertos, recuperaciones de SSD basadas en pread, almacenamiento en caché LFU y shaders Metal compilados en tiempo de ejecución, y es compatible con la implementación en iOS y con interfaces de servidor compatibles con OpenAI.

Swiftlet, un entorno de ejecución de Swift + Metal, permite que modelos MoE de gran tamaño, como Qwen3.6-35B-A3B y Qwen3-Next-80B-A3B, se ejecuten con un consumo mínimo de memoria, ya que solo mantiene el núcleo denso en la RAM mientras carga en tiempo real los pesos de los expertos desde el SSD. En un Mac M5, el modelo de 35B alcanza un máximo de 2,6 GB (7-11 tok/s), y el modelo de 80B alcanza un máximo de 4,3 GB (4,5-5 tok/s). La versión 35B también se ejecuta de forma nativa en un iPhone 17 con unos 2,5 GB y 1 tok/s. El sistema utiliza un enrutamiento detallado de tokens a expertos, recuperaciones de SSD basadas en pread, almacenamiento en caché LFU y shaders Metal compilados en tiempo de ejecución, y es compatible con la implementación en iOS y con interfaces de servidor compatibles con OpenAI.
comentario (0)
0/300
OR