3 Wege Metas Lama 3.1 ist ein Fortschritt für Gen Ai

Am Dienstag stellte Meta die neueste Ergänzung zur Llama-Familie großer Sprachmodelle (LLMs) vor: Llama 3.1. Das Unternehmen bezeichnet Llama 3.1 stolz als das erste Open-Source-"Frontiermodell", ein Begriff, der üblicherweise für die fortschrittlichsten KI-Modelle verwendet wird.

Llama 3.1 gibt es in verschiedenen Größen, aber das riesige "405B" sticht besonders hervor. Mit beeindruckenden 405 Milliarden neuronalen "Gewichten" oder Parametern übertrifft es andere bekannte Open-Source-Modelle wie Nvidias Nemotron 4, Googles Gemma 2 und Mixtral. Besonders faszinierend sind die drei zentralen Entscheidungen des Meta-Teams bei der Entwicklung dieses Giganten.

Diese Entscheidungen sind ein Meisterwerk der neuronalen Netzwerktechnik und bilden das Rückgrat für den Aufbau und das Training von Llama 3.1 405B. Sie bauen auf den Effizienzgewinnen auf, die Meta mit Llama 2 demonstriert hat, das vielversprechende Wege zeigte, um das gesamte Rechenbudget für Deep Learning zu reduzieren.

Erstens verzichtet Llama 3.1 405B auf den "Mixture of Experts"-Ansatz, den Google für sein geschlossenes Gemini 1.5 und Mistral für Mixtral verwendet. Diese Methode umfasst das Erstellen verschiedener Kombinationen neuronaler Gewichte, von denen einige deaktiviert werden können, um Vorhersagen zu optimieren. Stattdessen hielten die Meta-Forscher an der bewährten "Decoder-only-Transformer-Modellarchitektur" fest, die seit ihrer Einführung durch Google im Jahr 2017 ein Standard ist. Sie behaupten, dass diese Wahl zu einem stabileren Trainingsprozess führt.

Zweitens entwickelte das Meta-Team einen cleveren mehrstufigen Trainingsansatz, um die Leistung dieses einfachen Transformer-basierten Modells zu steigern. Es ist bekannt, dass die Balance zwischen Trainingsdatenmenge und Rechenleistung die Vorhersagequalität erheblich beeinflusst. Aber traditionelle "Skalierungsgesetze", die die Modellleistung basierend auf Größe und Daten vorhersagen, spiegeln nicht unbedingt wider, wie gut ein Modell bei "nachgelagerten" Aufgaben wie logischen Tests abschneidet.

Daher entwickelte Meta ein eigenes Skalierungsgesetz. Sie steigerten sowohl die Trainingsdaten als auch die Rechenleistung und testeten verschiedene Kombinationen über mehrere Iterationen hinweg, um zu sehen, wie gut das resultierende Modell bei diesen entscheidenden nachgelagerten Aufgaben abschnitt. Dieser sorgfältige Prozess half ihnen, den optimalen Punkt zu finden, was zur Wahl von 405 Milliarden Parametern für ihr Flaggschiffmodell führte. Das endgültige Training wurde von 16.000 Nvidia H100 GPU-Chips auf Metas Grand Teton AI-Server angetrieben, mit einem komplexen System zur parallelen Verarbeitung von Daten und Gewichten.

Die dritte Innovation liegt in der Nach-Trainings-Phase. Nach jeder Trainingsrunde durchläuft Llama 3.1 einen strengen Prozess, der von menschlichem Feedback geleitet wird, ähnlich wie es OpenAI und andere tun, um die Ausgaben ihrer Modelle zu verfeinern. Dies umfasst "überwachtes Feintuning", bei dem das Modell lernt, zwischen erwünschten und unerwünschten Ausgaben basierend auf menschlichen Präferenzen zu unterscheiden.

Meta fügt dann eine Besonderheit hinzu mit "direkter Präferenzoptimierung" (DPO), einer effizienteren Version des verstärkenden Lernens durch menschliches Feedback, die dieses Jahr von KI-Wissenschaftlern der Stanford University entwickelt wurde. Sie trainieren Llama 3.1 auch, "Werkzeuge" wie externe Suchmaschinen zu nutzen, indem sie Beispiele für Aufforderungen zeigen, die mit API-Aufrufen gelöst wurden, was seine "Zero-Shot"-Werkzeugnutzungsfähigkeiten verbessert.

Um "Halluzinationen" zu bekämpfen, kuratiert das Team spezifische Trainingsdaten und erstellt originale Frage-Antwort-Paare, um das Modell so zu optimieren, dass es nur das beantwortet, was es weiß, und ablehnt, was es nicht sicher weiß.

Während der Entwicklung betonten die Meta-Forscher Einfachheit und stellten fest, dass hochwertige Daten, Skalierung und unkomplizierte Ansätze durchweg die besten Ergebnisse lieferten. Trotz der Erkundung komplexerer Architekturen und Trainingsmethoden stellten sie fest, dass die zusätzliche Komplexität die Vorteile nicht rechtfertigte.

Die Größe von Llama 3.1 405B ist ein Meilenstein für Open-Source-Modelle, die normalerweise von ihren kommerziellen, geschlossenen Pendants übertrumpft werden. Metas CEO, Mark Zuckerberg, betonte die wirtschaftlichen Vorteile und wies darauf hin, dass Entwickler Inferenz mit Llama 3.1 405B zu halben Kosten im Vergleich zu Modellen wie GPT-4o durchführen können.

Zuckerberg setzte sich auch für Open-Source-KI ein und verglich sie mit der Entwicklung von Unix von proprietär zu einem fortschrittlicheren, sichereren und breiteren Ökosystem dank Open-Source-Entwicklung.

Wie jedoch Steven Vaughan-Nichols von ZDNET anmerkt, fehlen einige Details in Metas Code-Veröffentlichung auf Hugging Face, und die Codelizenz ist restriktiver als typische Open-Source-Lizenzen. Obwohl Llama 3.1 also gewissermaßen Open Source ist, ist es nicht vollständig so. Dennoch ist das hohe Maß an Details über den Trainingsprozess eine erfrischende Abwechslung, besonders wenn Riesen wie OpenAI und Google zunehmend zurückhaltend über ihre geschlossenen Modelle sind.