O Gemma 3 do Google atinge 98% da precisão do Deepseek com apenas uma GPU

A economia da inteligência artificial tornou -se um foco importante recentemente, especialmente com a startup Deepseek IA, apresentando impressionantes economias de escala no uso de chips de GPU. Mas o Google não está prestes a ser superado. Na quarta-feira, a gigante da tecnologia revelou seu mais recente modelo de idioma de grande fonte aberta, Gemma 3, que quase corresponde à precisão do modelo R1 da Deepseek, mas usa significativamente menos poder de computação.

O Google mediu esse desempenho usando as pontuações "Elo", um sistema comumente usado em xadrez e esportes para classificar os concorrentes. Gemma 3 marcou um 1338, apenas a 1363 do R1, o que significa que o R1 supera tecnicamente Gemma 3. No entanto, o Google estima que seria necessário 32 dos chips de GPU H100 da NVIDIA para atingir a pontuação do R1, enquanto o Gemma 3 obtém seus resultados com apenas um H100 GPU. O Google elogiou esse equilíbrio da pontuação de computação e ELO como o "ponto ideal".

Em uma postagem no blog, o Google descreve a Gemma 3 como "o modelo mais capaz que você pode executar em uma única GPU ou TPU", referindo -se ao seu próprio chip AI personalizado, a "unidade de processamento tensor". A empresa afirma que a Gemma 3 "oferece desempenho de ponta por seu tamanho", superando modelos como LLAMA-405B, Deepseek-V3 e O3-mini em avaliações de preferência humana na tabela de classificação da Lmarena. Esse desempenho facilita a criação de experiências de usuário envolventes em um único host GPU ou TPU.

Google

O modelo do Google também supera a llama 3 da Meta no ELO Score, que o Google estima exigiria 16 GPUs. Vale a pena notar que esses números para modelos concorrentes são estimativas do Google; O Deepseek AI divulgou apenas 1.814 das GPUs H800 menos poderosas da Nvidia para R1.

Informações mais aprofundadas podem ser encontradas em uma postagem de blog de desenvolvedor no HuggingFace, onde está disponível o repositório Gemma 3. Projetado para uso no dispositivo em vez de data centers, o Gemma 3 possui um número significativamente menor de parâmetros em comparação com R1 e outros modelos de código aberto. Com a contagem de parâmetros variando de 1 bilhão a 27 bilhões, o Gemma 3 é bastante modesto pelos padrões atuais, enquanto o R1 possui um elevado 671 bilhões de parâmetros, embora possa usar seletivamente apenas 37 bilhões.

A chave para a eficiência do Gemma 3 é uma técnica de IA amplamente usada chamada destilação, onde os pesos do modelo treinado de um modelo maior são transferidos para um menor, aumentando seus recursos. Além disso, o modelo destilado sofre três medidas de controle de qualidade: aprendizado de reforço com o feedback humano (RLHF), o aprendizado de reforço com o feedback da máquina (RLMF) e o aprendizado de reforço com o feedback de execução (RLEF). Isso ajuda a refinar os resultados do modelo, tornando -os mais úteis e melhorando suas habilidades de matemática e codificação.

O blog do desenvolvedor do Google detalha essas abordagens e outra postagem discute técnicas de otimização para o menor modelo de parâmetros de 1 bilhão, destinado a dispositivos móveis. Isso inclui quantização, atualização de layouts de cache do valor-chave, melhoria dos tempos de carregamento variável e compartilhamento de peso da GPU.

O Google compara o Gemma 3 não apenas nas pontuações ELO, mas também contra seu antecessor, Gemma 2, e seus modelos de gêmeos de código fechado em vários benchmarks, como o LivecodeBench. Enquanto Gemma 3 geralmente fica aquém do Gemini 1.5 e Gemini 2.0 em precisão, o Google observa que "mostra desempenho competitivo em comparação com modelos fechados de Gemini", apesar de terem menos parâmetros.

Google

Uma atualização significativa no Gemma 3 sobre Gemma 2 é sua "janela de contexto" mais longa, expandindo de 8.000 para 128.000 tokens. Isso permite que o modelo processe textos maiores, como papéis ou livros inteiros. A GEMMA 3 também é multimodal, capaz de lidar com entradas de texto e imagem, diferentemente de seu antecessor. Além disso, ele suporta mais de 140 idiomas, uma grande melhoria em relação aos recursos apenas em inglês da Gemma 2.

Além desses recursos principais, existem vários outros aspectos interessantes no Gemma 3. Um problema com grandes modelos de linguagem é o potencial de memorizar partes de seus dados de treinamento, o que pode levar a violações de privacidade. Os pesquisadores do Google testaram a Gemma 3 para isso e descobriram que memoriza o texto de formato longo a uma taxa mais baixa do que seus antecessores, sugerindo uma melhor proteção à privacidade.

Para aqueles interessados ​​no âmago da questão, o documento técnico da Gemma 3 fornece uma quebra completa dos recursos e desenvolvimento do modelo.