3 façons de Meta's Llama 3.1 est une avancée pour Gen Ai

Mardi, Meta a levé le voile sur la dernière addition à sa famille de modèles de langage de grande échelle (LLMs), en présentant Llama 3.1. L'entreprise revendique fièrement Llama 3.1 comme le premier modèle "frontier" open-source, un terme généralement réservé aux modèles d'IA les plus avancés du marché.

Llama 3.1 se décline en plusieurs tailles, mais c'est le gigantesque "405B" qui attire vraiment l'attention. Avec un impressionnant 405 milliards de "poids" neuronaux, ou paramètres, il surpasse d'autres modèles open-source notables comme Nemotron 4 de Nvidia, Gemma 2 de Google et Mixtral. Ce qui est encore plus intrigant, ce sont les trois décisions clés prises par l'équipe de Meta pour concevoir ce géant.

Ces décisions constituent rien de moins qu'un cours magistral d'ingénierie des réseaux neuronaux, formant l'épine dorsale de la construction et de l'entraînement de Llama 3.1 405B. Elles s'appuient également sur les gains d'efficacité démontrés par Meta avec Llama 2, qui a montré des moyens prometteurs de réduire le budget global de calcul pour l'apprentissage profond.

Tout d'abord, Llama 3.1 405B abandonne l'approche "mélange d'experts", utilisée par Google pour son modèle fermé Gemini 1.5 et par Mistral pour Mixtral. Cette méthode consiste à créer différentes combin πολιστάσεις neuronales, dont certaines peuvent être désactivées pour rationaliser les prédictions. Au lieu de cela, les chercheurs de Meta ont opté pour l'architecture éprouvée du "modèle transformateur uniquement décodeur", un standard depuis son introduction par Google en 2017. Ils affirment que ce choix conduit à un processus d'entraînement plus stable.

Deuxièmement, pour améliorer les performances de ce modèle basé sur un transformateur simple, l'équipe de Meta a mis au point une approche d'entraînement multi-étapes astucieuse. Nous savons tous que l'équilibre entre la quantité de données d'entraînement et le calcul peut avoir un impact significatif sur la qualité des prédictions. Mais les "lois d'échelle" traditionnelles, qui prédisent les performances du modèle en fonction de sa taille et des données, ne reflètent pas nécessairement la capacité d'un modèle à gérer les tâches "en aval" comme les tests de raisonnement.

Ainsi, Meta a développé sa propre loi d'échelle. Ils ont augmenté à la fois les données d'entraînement et le calcul, testant différentes combinaisons sur plusieurs itérations pour voir comment le modèle resultant performait sur ces tâches cruciales en aval. Ce processus minutieux leur a permis de trouver le point idéal, conduisant au choix de 405 milliards de paramètres pour leur modèle phare. L'entraînement final a été réalisé avec 16 000 puces GPU Nvidia H100 sur le serveur AI Grand Teton de Meta, avec un système complexe pour exécuter les données et les poids en parallèle.

La troisième innovation réside dans la phase post-entraînement. Après chaque cycle d'entraînement, Llama 3.1 passe par un processus rigoureux guidé par les retours humains, similaire à ce que font OpenAI et d'autres pour affiner les sorties de leurs modèles. Cela inclut l'"ajustement fin supervisé", où le modèle apprend à distinguer les sorties souhaitables des indésirables en fonction des préférences humaines.

Meta ajoute ensuite une touche avec l'"optimisation directe des préférences" (DPO), une version plus efficace de l'apprentissage par renforcement à partir des retours humains, initiée par des chercheurs en IA de l'Université de Stanford cette année. Ils entraînent également Llama 3.1 à utiliser des "outils", comme les moteurs de recherche externes, en lui montrant des exemples de prompts résolus avec des appels API, améliorant ainsi ses capacités d'utilisation d'outils en "zero-shot".

Pour lutter contre les "hallucinations", l'équipe sélectionne des données d'entraînement spécifiques et crée des paires de questions-réponses originales, ajustant finement le modèle pour qu'il réponde uniquement à ce qu'il sait et refuse ce dont il n'est pas sûr.

Tout au long du développement, les chercheurs de Meta ont mis l'accent sur la simplicité, déclarant que des données de haute qualité, l'échelle et des approches directes donnaient systématiquement les meilleurs résultats. Malgré l'exploration d'architectures et de recettes d'entraînement plus complexes, ils ont constaté que la complexité ajoutée ne justifiait pas les avantages.

L'échelle de Llama 3.1 405B est une étape marquante pour les modèles open-source, généralement éclipsés par leurs homologues commerciaux à source fermée. Le PDG de Meta, Mark Zuckerberg, a souligné les avantages économiques, notant que les développeurs peuvent exécuter l'inférence sur Llama 3.1 405B à la moitié du coût des modèles comme GPT-4o.

Zuckerberg a également défendu l'IA open-source comme une progression naturelle du logiciel, la comparant à l'évolution d'Unix d'un système propriétaire à un écosystème plus avancé, sécurisé et plus large grâce au développement open-source.

Cependant, comme le souligne Steven Vaughan-Nichols de ZDNET, certains détails manquent dans la publication du code de Meta sur Hugging Face, et la licence du code est plus restrictive que les licences open-source typiques. Ainsi, bien que Llama 3.1 soit en quelque sorte open-source, il ne l'est pas entièrement. Pourtant, le volume de détails sur son processus d'entraînement est un changement rafraîchissant, surtout lorsque des géants comme OpenAI et Google sont de plus en plus discrets sur leurs modèles à source fermée.