3 Ways Llama 3.1 da Meta é um adiantamento para a Gen AI

Na terça-feira, a Meta revelou a mais recente adição à sua família de modelos de linguagem de grande escala (LLMs), introduzindo o Llama 3.1. A empresa orgulhosamente apresenta o Llama 3.1 como o primeiro modelo de código aberto "de fronteira", um termo geralmente reservado para os modelos de IA mais avançados disponíveis.

O Llama 3.1 vem em vários tamanhos, mas é o gigantesco "405B" que realmente chama a atenção. Com impressionantes 405 bilhões de "pesos" neurais, ou parâmetros, ele supera outros modelos de código aberto notáveis como o Nemotron 4 da Nvidia, o Gemma 2 do Google e o Mixtral. Ainda mais intrigante são as três decisões-chave que a equipe da Meta tomou ao criar esse gigante.

Essas decisões são nada menos que uma aula magistral de engenharia de redes neurais, formando a espinha dorsal de como o Llama 3.1 405B foi construído e treinado. Elas também se baseiam nos ganhos de eficiência que a Meta demonstrou com o Llama 2, que mostrou maneiras promissoras de reduzir o orçamento geral de computação para aprendizado profundo.

Primeiramente, o Llama 3.1 405B abandona a abordagem de "mistura de especialistas", que o Google usa para seu Gemini 1.5 de código fechado e o Mistral usa para o Mixtral. Esse método envolve criar diferentes combinações de pesos neurais, algumas das quais podem ser desativadas para simplificar previsões. Em vez disso, os pesquisadores da Meta optaram pela arquitetura de modelo transformador apenas decodificador, um padrão desde que o Google a introduziu em 2017. Eles afirmam que essa escolha leva a um processo de treinamento mais estável.

Em segundo lugar, para aumentar o desempenho desse modelo baseado em transformador direto, a equipe da Meta desenvolveu uma abordagem de treinamento em várias etapas inteligente. Todos sabemos que equilibrar a quantidade de dados de treinamento e computação pode impactar significativamente a qualidade das previsões. Mas as "leis de escala" tradicionais, que preveem o desempenho do modelo com base no tamanho e nos dados, não refletem necessariamente o quão bem um modelo lidará com tarefas "downstream" como testes de raciocínio.

Assim, a Meta desenvolveu sua própria lei de escala. Eles aumentaram tanto os dados de treinamento quanto a computação, testando diferentes combinações em várias iterações para ver quão bem o modelo resultante performava nessas tarefas downstream cruciais. Esse processo meticuloso os ajudou a identificar o ponto ideal, levando à escolha de 405 bilhões de parâmetros para seu modelo principal. O treinamento final foi impulsionado por 16.000 chips GPU H100 da Nvidia no servidor de IA Grand Teton da Meta, com um sistema complexo para executar dados e pesos em paralelo.

A terceira inovação está na fase de pós-treinamento. Após cada rodada de treinamento, o Llama 3.1 passa por um processo rigoroso guiado por feedback humano, semelhante ao que a OpenAI e outros fazem para refinar as saídas de seus modelos. Isso envolve "ajuste fino supervisionado", onde o modelo aprende a distinguir entre saídas desejáveis e indesejáveis com base nas preferências humanas.

A Meta então adiciona uma reviravolta com a "otimização de preferência direta" (DPO), uma versão mais eficiente de aprendizado por reforço com feedback humano, desenvolvida por acadêmicos de IA da Universidade de Stanford este ano. Eles também treinam o Llama 3.1 para usar "ferramentas", como motores de busca externos, mostrando exemplos de prompts resolvidos com chamadas de API, aumentando suas capacidades de uso de ferramentas "zero-shot".

Para combater "alucinações", a equipe seleciona dados de treinamento específicos e cria pares de perguntas e respostas originais, ajustando o modelo para responder apenas o que sabe e recusar o que não tem certeza.

Ao longo do desenvolvimento, os pesquisadores da Meta enfatizaram a simplicidade, afirmando que dados de alta qualidade, escala e abordagens diretas entregaram consistentemente os melhores resultados. Apesar de explorarem arquiteturas e receitas de treinamento mais complexas, eles descobriram que a complexidade adicional não justificava os benefícios.

A escala do Llama 3.1 405B é um marco para modelos de código aberto, geralmente ofuscados por seus equivalentes comerciais de código fechado. O CEO da Meta, Mark Zuckerberg, destacou as vantagens econômicas, observando que os desenvolvedores podem executar inferências no Llama 3.1 405B pela metade do custo de usar modelos como o GPT-4o.

Zuckerberg também defendeu a IA de código aberto como uma progressão natural do software, comparando-a à evolução do Unix de proprietário para um ecossistema mais avançado, seguro e amplo graças ao desenvolvimento de código aberto.

No entanto, como Steven Vaughan-Nichols da ZDNET aponta, faltam alguns detalhes na postagem de código da Meta no Hugging Face, e a licença do código é mais restritiva do que as licenças típicas de código aberto. Portanto, embora o Llama 3.1 seja meio que de código aberto, não está totalmente lá. Ainda assim, o volume de detalhes sobre seu processo de treinamento é uma mudança refrescante, especialmente quando gigantes como OpenAI e Google estão cada vez mais reticentes sobre seus modelos de código fechado.