Swiftlet, un entorno de ejecución de Swift + Metal, permite que modelos MoE de gran tamaño, como Qwen3.6-35B-A3B y Qwen3-Next-80B-A3B, se ejecuten con un consumo mínimo de memoria, ya que solo mantiene el núcleo denso en la RAM mientras carga en tiempo real los pesos de los expertos desde el SSD. En un Mac M5, el modelo de 35B alcanza un máximo de 2,6 GB (7-11 tok/s), y el modelo de 80B alcanza un máximo de 4,3 GB (4,5-5 tok/s). La versión 35B también se ejecuta de forma nativa en un iPhone 17 con unos 2,5 GB y 1 tok/s. El sistema utiliza un enrutamiento detallado de tokens a expertos, recuperaciones de SSD basadas en pread, almacenamiento en caché LFU y shaders Metal compilados en tiempo de ejecución, y es compatible con la implementación en iOS y con interfaces de servidor compatibles con OpenAI.
Al hacer clic en "Aceptar todos los cookies", usted acepta el almacenamiento de cookies en su dispositivo para mejorar la navegación por el sitio, analizar el uso del sitio y ayudar en nuestros esfuerzos de marketing.Política de privacidad Aviso
Al visitar cualquier sitio web, este puede almacenar o recuperar información en su navegador, principalmente en forma de cookies. Esta información puede referirse a usted, sus preferencias o su dispositivo y se usa principalmente para que el sitio funcione como espera. Por lo general, la información no lo identifica directamente, pero puede brindarle una experiencia web más personalizada. Debido a que respetamos su derecho a la privacidad, puede optar por no permitir algunos tipos de cookies. Haga clic en los diferentes títulos de categoría para obtener más información y cambiar nuestros ajustes predeterminados. Sin embargo, bloquear algunos tipos de cookies puede afectar su experiencia en el sitio y los servicios que podemos ofrecer. Política de privacidadDeclaración
Gestionar preferencias
Cookie estrictamente necesario
Siempre activo
Estos cookies son necesarios para que el sitio web funcione y no pueden ser desactivados en nuestros sistemas. Por lo general, solo se establecen en respuesta a acciones que realice usted que equivalen a una solicitud de servicios, como configurar sus preferencias de privacidad, iniciar sesión o completar formularios. Puede configurar su navegador para bloquear estos cookies o alertarle sobre ellos, pero algunas partes del sitio no funcionarán luego. Estos cookies no almacenan ninguna información que permita identificar personalmente.