O Swiftlet, um ambiente de execução baseado em Swift + Metal, permite que grandes modelos de MoE, como o Qwen3.6-35B-A3B e o Qwen3-Next-80B-A3B, sejam executados com o mínimo de memória, mantendo apenas o núcleo denso na RAM enquanto os pesos de especialista são transmitidos a partir do SSD. Em um Mac M5, o modelo 35B atinge um pico de 2,6 GB (7–11 tok/s), e o modelo 80B atinge um pico de 4,3 GB (4,5–5 tok/s). A versão 35B também roda nativamente em um iPhone 17 com cerca de 2,5 GB e 1 tok/s. O sistema utiliza roteamento refinado de token para modelo de especialista, recuperações de SSD baseadas em pread, cache LFU e shaders Metal compilados em tempo de execução, oferecendo suporte à implantação no iOS e a interfaces de servidor compatíveis com a OpenAI.
Ao clicar em "Aceitar todos os cookies", você concorda com o armazenamento de cookies em seu dispositivo para melhorar a navegação no site, analisar o uso do site e auxiliar em nossos esforços de marketing.Política de Privacidade Aviso
Ao visitar qualquer site, ele pode armazenar ou recuperar informações em seu navegador, principalmente na forma de cookies. Essas informações podem ser sobre você, suas preferências ou seu dispositivo e são usadas principalmente para fazer com que o site funcione conforme esperado. As informações geralmente não identificam você diretamente, mas podem proporcionar uma experiência web mais personalizada. Como respeitamos seu direito à privacidade, você pode optar por não permitir alguns tipos de cookies. Clique nos diferentes títulos de categoria para saber mais e alterar nossas configurações padrão. No entanto, bloquear alguns tipos de cookies pode afetar sua experiência no site e os serviços que podemos oferecer. Política de PrivacidadeDeclaração
Gerenciar preferências
Cookie estritamente necessário
Sempre ativado
Esses cookies são necessários para o funcionamento do site e não podem ser desativados em nossos sistemas. Eles geralmente são definidos apenas em resposta a ações que você realiza, que equivalem a uma solicitação de serviços, como configurar suas preferências de privacidade, fazer login ou preencher formulários. Você pode configurar seu navegador para bloquear esses cookies ou alertá-lo sobre eles, mas algumas partes do site não funcionarão depois. Esses cookies não armazenam nenhuma informação que permita identificar pessoalmente.