Lar
O Google DeepMind apresenta a estrutura STATIC para aumentar em 948 vezes a velocidade de recuperação em sistemas de recuperação generativa com modelos de linguagem de grande escala (LLM)
Nos sistemas modernos de recomendação industrial, a Busca Generativa (GR) baseada em grandes modelos de linguagem (LLM) vem substituindo gradualmente a busca tradicional baseada em embeddings. No entanto, na prática, essa abordagem enfrenta um problema crítico: o modelo frequentemente gera IDs de produtos inválidos ou resultados que violam restrições de estoque, resultando em recomendações sem sentido.
Para resolver esse problema, pesquisadores do Google DeepMind e do YouTube apresentaram, em conjunto, uma nova estrutura chamada STATIC (Índice Trie Acelerado por Matriz de Transição Esparsa para Decodificação Restrita). Essa técnica utiliza métodos matemáticos inovadores para acelerar a decodificação restrita em LLMs em impressionantes 948 vezes.

Principais avanços tecnológicos:
Transformar “Árvore” em “Matriz”: A verificação tradicional de restrições depende de árvores de prefixos (Trie), que apresentam baixo desempenho em hardware como GPUs e TPUs. O STATIC transforma a árvore complexa em uma matriz de linhas esparsas comprimidas estáticas (CSR), convertendo a verificação em uma operação vetorizada que o hardware processa com eficiência.
Velocidade de resposta excepcional: Em testes com um modelo de 3 bilhões de parâmetros, o STATIC atinge uma latência de etapa única de apenas 0,033 milissegundos. Isso é quase 1.000 vezes mais rápido do que a recuperação tradicional baseada em CPU e mais de 40 vezes mais rápido do que as soluções existentes aceleradas por hardware.
Teste bem-sucedido no YouTube: O STATIC foi implantado no sistema de recomendação de vídeos do YouTube para garantir que as recomendações atendam a restrições comerciais, como a atualidade dos vídeos nos últimos sete dias. Os testes revelaram um aumento de 5,1% no volume de reprodução de vídeos recentes, juntamente com uma melhoria notável na taxa de cliques (CTR).
Além disso, o STATIC supera as limitações da recuperação generativa durante a fase de inicialização a frio. Ao impor restrições precisas de decodificação, o modelo alcança uma melhoria significativa na precisão ao recomendar produtos totalmente novos que nunca encontrou antes.
Artigo relacionado
A IA da OpenAI resolve 722 problemas matemáticos, gerando ansiedade entre os matemáticos humanos
A rápida evolução da inteligência artificial na matemática está alterando fundamentalmente a forma como o campo é percebido externamente. A OpenAI divulgou recentemente 722 manuscritos de demonstraçõe
A IA acelera a detecção de vulnerabilidades em meio ao aumento das falhas de segurança e das ameaças de hackers
A Bloomberg informou, em 28 de julho, que a IA está acelerando significativamente a descoberta de vulnerabilidades de software. De acordo com as tendências atuais, espera-se que o número de vulnerabil
Como otimizar os Core Web Vitals para melhorar as classificações de SEO?
Apresentando o Free Willy: uma nova era para os modelos de linguagem de código abertoÍndice:Woody’s AI e Carper AI Lab: uma parceria estratégicaO papel fundamental do processamento de linguagem natura
Recomendações de tópicos especiais relacionados
Comentários (1)
Nos sistemas modernos de recomendação industrial, a Busca Generativa (GR) baseada em grandes modelos de linguagem (LLM) vem substituindo gradualmente a busca tradicional baseada em embeddings. No entanto, na prática, essa abordagem enfrenta um problema crítico: o modelo frequentemente gera IDs de produtos inválidos ou resultados que violam restrições de estoque, resultando em recomendações sem sentido.
Para resolver esse problema, pesquisadores do Google DeepMind e do YouTube apresentaram, em conjunto, uma nova estrutura chamada STATIC (Índice Trie Acelerado por Matriz de Transição Esparsa para Decodificação Restrita). Essa técnica utiliza métodos matemáticos inovadores para acelerar a decodificação restrita em LLMs em impressionantes 948 vezes.

Principais avanços tecnológicos:
Transformar “Árvore” em “Matriz”: A verificação tradicional de restrições depende de árvores de prefixos (Trie), que apresentam baixo desempenho em hardware como GPUs e TPUs. O STATIC transforma a árvore complexa em uma matriz de linhas esparsas comprimidas estáticas (CSR), convertendo a verificação em uma operação vetorizada que o hardware processa com eficiência.
Velocidade de resposta excepcional: Em testes com um modelo de 3 bilhões de parâmetros, o STATIC atinge uma latência de etapa única de apenas 0,033 milissegundos. Isso é quase 1.000 vezes mais rápido do que a recuperação tradicional baseada em CPU e mais de 40 vezes mais rápido do que as soluções existentes aceleradas por hardware.
Teste bem-sucedido no YouTube: O STATIC foi implantado no sistema de recomendação de vídeos do YouTube para garantir que as recomendações atendam a restrições comerciais, como a atualidade dos vídeos nos últimos sete dias. Os testes revelaram um aumento de 5,1% no volume de reprodução de vídeos recentes, juntamente com uma melhoria notável na taxa de cliques (CTR).
Além disso, o STATIC supera as limitações da recuperação generativa durante a fase de inicialização a frio. Ao impor restrições precisas de decodificação, o modelo alcança uma melhoria significativa na precisão ao recomendar produtos totalmente novos que nunca encontrou antes.
A IA da OpenAI resolve 722 problemas matemáticos, gerando ansiedade entre os matemáticos humanos
A rápida evolução da inteligência artificial na matemática está alterando fundamentalmente a forma como o campo é percebido externamente. A OpenAI divulgou recentemente 722 manuscritos de demonstraçõe
A IA acelera a detecção de vulnerabilidades em meio ao aumento das falhas de segurança e das ameaças de hackers
A Bloomberg informou, em 28 de julho, que a IA está acelerando significativamente a descoberta de vulnerabilidades de software. De acordo com as tendências atuais, espera-se que o número de vulnerabil
Como otimizar os Core Web Vitals para melhorar as classificações de SEO?
Apresentando o Free Willy: uma nova era para os modelos de linguagem de código abertoÍndice:Woody’s AI e Carper AI Lab: uma parceria estratégicaO papel fundamental do processamento de linguagem natura











