iPhone 17 Pro executa modelo de 400B parâmetros localmente a 0,6 tokens por segundo

O que define o limite computacional dos smartphones modernos? O mais recente flagship da Apple, o iPhone17Pro , forneceu uma resposta tão impressionante quanto humilhante.
Em 23 de março, um modelo de linguagem grande com 400 bilhões de parâmetros foi executado com sucesso no iPhone17Pro . Notavelmente, mesmo após a quantização, tais modelos normalmente exigem pelo menos 200 GB de memória, enquanto o iPhone17Pro possui apenas 12 GB de RAM LPDDR5X.
Inovação Técnica: Streaming de Memória Flash e Mistura de Especialistas (MoE)
Superando severas restrições de memória, essa "conquista impossível" foi alcançada principalmente por meio de duas estratégias técnicas-chave:
SSD como Memória Virtual: Aproveitando o projeto de código aberto Flash-MoE, o dispositivo transmite dados diretamente da unidade de estado sólido (SSD) para a GPU, contornando efetivamente as limitações da memória física.
Benefícios da Arquitetura MoE: "MoE" significa Mistura de Especialistas, um design no qual o sistema ativa apenas um subconjunto dos 400 bilhões de parâmetros para cada palavra gerada, em vez de carregar o modelo inteiro.
Compromisso de Desempenho: Velocidade de Geração Lenta
Embora a execução tenha sido bem-sucedida, a experiência do usuário ainda está longe de ser prática. Os resultados dos testes indicam:
Taxa de Geração: A velocidade é limitada a 0,6 Tokens por segundo, o que significa que leva aproximadamente 1,5 a 2 segundos para produzir uma única palavra.
Impacto na Energia e no Calor: Esse processamento local intensivo drena rapidamente a bateria e gera calor significativo.
Perspectiva da Indústria: A IA Local Está Alcançando uma "Singularidade"?
Apesar da velocidade de geração atual ser subótima, a importância simbólica desta demonstração supera sua utilidade imediata. Isso prova que executar modelos de grande escala localmente em smartphones é um caminho viável.
Privacidade Aprimorada: O processamento local garante que os dados permaneçam no dispositivo, eliminando a necessidade de uploads para a nuvem e oferecendo maior privacidade.
Capacidade Offline: Acessar respostas de IA avançadas sem conexão com a internet está se tornando cada vez mais viável.
Artigo relacionado
O Google atualiza o aplicativo Gemini para competir com o ChatGPT e o Claude na IO 2026
Durante o evento anual Google I/O de terça-feira, a Google apresentou uma série de atualizações para o aplicativo Gemini, introduzindo um recurso “Resumo Diário”, uma interface renovada, acesso ao novo modelo de vídeo Gemini Omni AI e um agente de IA
A Qianwen Creation revela uma associação de 7 dias com 200 pontos e ferramentas de aceleração para fotografia de viagens
O Qwen Create lançou oficialmente um plano de assinatura de 7 dias, projetado para tarefas de criação com IA imediatas e leves, incluindo fotografia de viagens, marketing de eventos e conteúdo para redes sociais. Após a compra, os usuários recebem 20
O iOS 27.2 Beta traz uma grande atualização do Aplicativo Saúde e o Siri se expande para cinco idiomas
A Apple acaba de lançar a primeira beta do iOS 27.2 para desenvolvedores. Pulando a fase de testes esperada do iOS 27.1, a Apple iniciou o ciclo de testes do 27.2 diretamente em 16 de setembro, lançando betas iniciais para iOS, iPadOS, macOS, watchOS
Recomendações de tópicos especiais relacionados
Comentários (0)

O que define o limite computacional dos smartphones modernos? O mais recente flagship da Apple, o
Em 23 de março, um modelo de linguagem grande com 400 bilhões de parâmetros foi executado com sucesso no
Inovação Técnica: Streaming de Memória Flash e Mistura de Especialistas (MoE)
Superando severas restrições de memória, essa "conquista impossível" foi alcançada principalmente por meio de duas estratégias técnicas-chave:
SSD como Memória Virtual: Aproveitando o projeto de código aberto Flash-MoE, o dispositivo transmite dados diretamente da unidade de estado sólido (SSD) para a GPU, contornando efetivamente as limitações da memória física.
Benefícios da Arquitetura MoE: "MoE" significa Mistura de Especialistas, um design no qual o sistema ativa apenas um subconjunto dos 400 bilhões de parâmetros para cada palavra gerada, em vez de carregar o modelo inteiro.
Compromisso de Desempenho: Velocidade de Geração Lenta
Embora a execução tenha sido bem-sucedida, a experiência do usuário ainda está longe de ser prática. Os resultados dos testes indicam:
Taxa de Geração: A velocidade é limitada a 0,6 Tokens por segundo, o que significa que leva aproximadamente 1,5 a 2 segundos para produzir uma única palavra.
Impacto na Energia e no Calor: Esse processamento local intensivo drena rapidamente a bateria e gera calor significativo.
Perspectiva da Indústria: A IA Local Está Alcançando uma "Singularidade"?
Apesar da velocidade de geração atual ser subótima, a importância simbólica desta demonstração supera sua utilidade imediata. Isso prova que executar modelos de grande escala localmente em smartphones é um caminho viável.
Privacidade Aprimorada: O processamento local garante que os dados permaneçam no dispositivo, eliminando a necessidade de uploads para a nuvem e oferecendo maior privacidade.
Capacidade Offline: Acessar respostas de IA avançadas sem conexão com a internet está se tornando cada vez mais viável.
O Google atualiza o aplicativo Gemini para competir com o ChatGPT e o Claude na IO 2026
Durante o evento anual Google I/O de terça-feira, a Google apresentou uma série de atualizações para o aplicativo Gemini, introduzindo um recurso “Resumo Diário”, uma interface renovada, acesso ao novo modelo de vídeo Gemini Omni AI e um agente de IA
A Qianwen Creation revela uma associação de 7 dias com 200 pontos e ferramentas de aceleração para fotografia de viagens
O Qwen Create lançou oficialmente um plano de assinatura de 7 dias, projetado para tarefas de criação com IA imediatas e leves, incluindo fotografia de viagens, marketing de eventos e conteúdo para redes sociais. Após a compra, os usuários recebem 20
O iOS 27.2 Beta traz uma grande atualização do Aplicativo Saúde e o Siri se expande para cinco idiomas
A Apple acaba de lançar a primeira beta do iOS 27.2 para desenvolvedores. Pulando a fase de testes esperada do iOS 27.1, a Apple iniciou o ciclo de testes do 27.2 diretamente em 16 de setembro, lançando betas iniciais para iOS, iPadOS, macOS, watchOS





Lar






