Lar
A Moonshot AI e a Universidade de Tsinghua propõem a arquitetura PrfaaS para centros de dados
Como os grandes modelos de linguagem (LLMs) exigem mais poder computacional durante o raciocínio, as arquiteturas de serviço convencionais enfrentam gargalos. A Moonshot AI, em colaboração com uma equipe de pesquisa da Universidade de Tsinghua, apresentou uma arquitetura inovadora chamada Pre-filling as a Service (PrfaaS), com o objetivo de superar as limitações dos data centers e dos recursos computacionais em serviços de LLMs.

O processo de raciocínio dos grandes modelos de linguagem é geralmente dividido em duas fases: pré-preenchimento e decodificação. O pré-preenchimento é computacionalmente intensivo, pois o modelo processa a entrada e cria um cache de chave-valor (KVCache). A decodificação é intensiva em largura de banda de memória, gerando saídas sequencialmente. As configurações tradicionais exigem que ambas as etapas ocorram no mesmo data center, o que gera restrições em termos de computação e largura de banda.
O PrfaaS possibilita um serviço eficiente entre data centers ao transferir as tarefas de pré-preenchimento para clusters dedicados de alta capacidade computacional, utilizando uma rede Ethernet padrão para transferir o KVCache gerado para clusters locais de decodificação. Pesquisas indicam que essa arquitetura aumenta o desempenho de processamento, alcançando um aumento de 54% na taxa de transferência do serviço em relação aos modelos tradicionais. Estudos de caso reais também mostram menor latência e maior eficiência.
A arquitetura do PrfaaS desacopla os três principais subsistemas — computação, rede e armazenamento —, gerenciando cada um deles de forma independente. Um mecanismo de roteamento preciso garante a transmissão eficiente de solicitações longas, evitando o congestionamento causado pela alocação desigual de recursos observada nas abordagens tradicionais. Além disso, um mecanismo de agendamento em dupla escala temporal se adapta a padrões de tráfego variáveis, otimizando ainda mais o uso de recursos.
À medida que cresce a demanda por raciocínio entre data centers e novos hardwares continuam a surgir, o PrfaaS oferece uma solução promissora para futuras aplicações de IA.
Artigo relacionado
A AliVideo revela o Wan3.0, oferecendo geração de vídeos ultra-longos e consistência multidimensional
Em 24 de agosto, a Alibaba apresentou o Wan3.0, seu mais recente modelo de geração de vídeo em larga escala. Este lançamento representa um grande avanço na tecnologia de vídeo da Alibaba, proporcionando melhorias significativas na duração, criação un
MiniMax Grande Modelo Erra na Pronúncia de Nomes - Xiyu Technology: Treinamento Insuficiente Após Tokens Específicos
A MiniMax publicou recentemente um relatório técnico detalhando por que seus modelos da série M2 tiveram dificuldades para gerar nomes específicos com precisão, como "Ma Jiaqi". Esse erro aparente destaca uma falha sistêmica no treinamento atual de g
Acordo da Nvidia com a China para o H200 sobrevive à cúpula Trump-Xi, mas não como esperado
O presidente Trump viajou a Pequim com Jensen Huang se juntando à delegação na última hora, partindo dois dias depois com declarações vagas sobre possíveis desenvolvimentos nas exportações de chips. Nenhum acordo se concretizou. Desde que Trump autor
Recomendações de tópicos especiais relacionados
Comentários (10)
Интересная архитектура PrfaS от Moonshot и Цинхуа для решения проблем с вычислительной мощностью LLM. Надеюсь, это поможет оптимизировать центры обработки данных! 🚀
A arquitetura PrfaS proposta por Moonshot e Tsinghua é um passo interessante para resolver gargalos de computação em LLMs. Será que isso viabiliza data centers mais eficientes? 🤔
La arquitectura PrfaS de Moonshot y Tsinghua parece una gran solución para los cuellos de botella en centros de datos con LLMs. ¡Esperamos ver resultados concretos pronto! 📈
Moonshot AI und Tsinghua zeigen mit PrfaS einen vielversprechenden Ansatz gegen Rechenengpässe bei LLMs. Spannend zu sehen, wie diese Kooperation die Datenzukunft gestaltet! 🌐
Como os grandes modelos de linguagem (LLMs) exigem mais poder computacional durante o raciocínio, as arquiteturas de serviço convencionais enfrentam gargalos. A Moonshot AI, em colaboração com uma equipe de pesquisa da Universidade de Tsinghua, apresentou uma arquitetura inovadora chamada Pre-filling as a Service (PrfaaS), com o objetivo de superar as limitações dos data centers e dos recursos computacionais em serviços de LLMs.

O processo de raciocínio dos grandes modelos de linguagem é geralmente dividido em duas fases: pré-preenchimento e decodificação. O pré-preenchimento é computacionalmente intensivo, pois o modelo processa a entrada e cria um cache de chave-valor (KVCache). A decodificação é intensiva em largura de banda de memória, gerando saídas sequencialmente. As configurações tradicionais exigem que ambas as etapas ocorram no mesmo data center, o que gera restrições em termos de computação e largura de banda.
O PrfaaS possibilita um serviço eficiente entre data centers ao transferir as tarefas de pré-preenchimento para clusters dedicados de alta capacidade computacional, utilizando uma rede Ethernet padrão para transferir o KVCache gerado para clusters locais de decodificação. Pesquisas indicam que essa arquitetura aumenta o desempenho de processamento, alcançando um aumento de 54% na taxa de transferência do serviço em relação aos modelos tradicionais. Estudos de caso reais também mostram menor latência e maior eficiência.
A arquitetura do PrfaaS desacopla os três principais subsistemas — computação, rede e armazenamento —, gerenciando cada um deles de forma independente. Um mecanismo de roteamento preciso garante a transmissão eficiente de solicitações longas, evitando o congestionamento causado pela alocação desigual de recursos observada nas abordagens tradicionais. Além disso, um mecanismo de agendamento em dupla escala temporal se adapta a padrões de tráfego variáveis, otimizando ainda mais o uso de recursos.
À medida que cresce a demanda por raciocínio entre data centers e novos hardwares continuam a surgir, o PrfaaS oferece uma solução promissora para futuras aplicações de IA.
A AliVideo revela o Wan3.0, oferecendo geração de vídeos ultra-longos e consistência multidimensional
Em 24 de agosto, a Alibaba apresentou o Wan3.0, seu mais recente modelo de geração de vídeo em larga escala. Este lançamento representa um grande avanço na tecnologia de vídeo da Alibaba, proporcionando melhorias significativas na duração, criação un
MiniMax Grande Modelo Erra na Pronúncia de Nomes - Xiyu Technology: Treinamento Insuficiente Após Tokens Específicos
A MiniMax publicou recentemente um relatório técnico detalhando por que seus modelos da série M2 tiveram dificuldades para gerar nomes específicos com precisão, como "Ma Jiaqi". Esse erro aparente destaca uma falha sistêmica no treinamento atual de g
Acordo da Nvidia com a China para o H200 sobrevive à cúpula Trump-Xi, mas não como esperado
O presidente Trump viajou a Pequim com Jensen Huang se juntando à delegação na última hora, partindo dois dias depois com declarações vagas sobre possíveis desenvolvimentos nas exportações de chips. Nenhum acordo se concretizou. Desde que Trump autor
Интересная архитектура PrfaS от Moonshot и Цинхуа для решения проблем с вычислительной мощностью LLM. Надеюсь, это поможет оптимизировать центры обработки данных! 🚀
A arquitetura PrfaS proposta por Moonshot e Tsinghua é um passo interessante para resolver gargalos de computação em LLMs. Será que isso viabiliza data centers mais eficientes? 🤔
La arquitectura PrfaS de Moonshot y Tsinghua parece una gran solución para los cuellos de botella en centros de datos con LLMs. ¡Esperamos ver resultados concretos pronto! 📈
Moonshot AI und Tsinghua zeigen mit PrfaS einen vielversprechenden Ansatz gegen Rechenengpässe bei LLMs. Spannend zu sehen, wie diese Kooperation die Datenzukunft gestaltet! 🌐











