Meta enthüllt llama 4 mit langen Kontext -Scout- und Maverick -Modellen, 2T -Parameter -Giganten in Kürze!

Im Januar 2025 wurde die Welt der KI erschüttert, als ein relativ unbekanntes chinesisches KI-Startup, DeepSeek, mit seinem bahnbrechenden Open-Source-Sprachmodell DeepSeek R1 die Herausforderung annahm. Dieses Modell übertraf nicht nur Unternehmen wie Meta, sondern tat dies zu einem Bruchteil der Kosten – Gerüchten zufolge nur wenige Millionen Dollar. Das ist der Betrag, den Meta vielleicht für nur ein paar seiner KI-Teamleiter ausgibt! Diese Nachricht versetzte Meta in einen gewissen Aufruhr, zumal ihr neuestes Llama-Modell, Version 3.3, das erst im Vormonat veröffentlicht wurde, bereits etwas veraltet wirkte.

Schnell vorwärts bis heute: Metas Gründer und CEO, Mark Zuckerberg, hat auf Instagram die Einführung der neuen Llama 4-Serie angekündigt. Diese Serie umfasst das 400-Milliarden-Parameter-Modell Llama 4 Maverick und das 109-Milliarden-Parameter-Modell Llama 4 Scout, die beide sofort für Entwickler auf llama.com und Hugging Face zum Download und Experimentieren verfügbar sind. Es gibt auch einen kleinen Ausblick auf ein kolossales 2-Billionen-Parameter-Modell, Llama 4 Behemoth, das sich noch in der Entwicklung befindet und kein Veröffentlichungsdatum in Sicht hat.

Multimodale und Langkontext-Fähigkeiten

Eine der herausragenden Eigenschaften dieser neuen Modelle ist ihre multimodale Natur. Sie beschränken sich nicht nur auf Text; sie können auch Videos und Bilder verarbeiten. Und sie verfügen über unglaublich lange Kontextfenster – 1 Million Token für Maverick und beeindruckende 10 Millionen für Scout. Um das ins Verhältnis zu setzen: Das entspricht der Verarbeitung von bis zu 1.500 bzw. 15.000 Textseiten auf einmal! Stellen Sie sich die Möglichkeiten für Bereiche wie Medizin, Wissenschaft oder Literatur vor, in denen große Mengen an Informationen verarbeitet und generiert werden müssen.

Mischung-aus-Experten-Architektur

Alle drei Llama 4-Modelle nutzen die „Mixture-of-Experts (MoE)“-Architektur, eine Technik, die Wellen schlägt und von Unternehmen wie OpenAI und Mistral populär gemacht wurde. Dieser Ansatz kombiniert mehrere kleinere, spezialisierte Modelle zu einem größeren, effizienteren Modell. Jedes Llama 4-Modell besteht aus einer Mischung von 128 verschiedenen Experten, was bedeutet, dass nur der benötigte Experte und ein gemeinsamer Experte jedes Token verarbeiten, was die Modelle kostengünstiger und schneller macht. Meta rühmt sich, dass Llama 4 Maverick auf einem einzigen Nvidia H100 DGX-Host betrieben werden kann, was die Bereitstellung erleichtert.

Kostengünstig und zugänglich

Meta legt großen Wert darauf, diese Modelle zugänglich zu machen. Sowohl Scout als auch Maverick sind für das Selbst-Hosting verfügbar, und sie haben sogar einige verlockende Kostenschätzungen geteilt. Zum Beispiel liegen die Inferenzkosten für Llama 4 Maverick zwischen 0,19 $ und 0,49 $ pro Million Token, was im Vergleich zu anderen proprietären Modellen wie GPT-4o ein Schnäppchen ist. Und wenn Sie daran interessiert sind, diese Modelle über einen Cloud-Anbieter zu nutzen, hat Groq bereits wettbewerbsfähige Preise angeboten.

Verbesserte Argumentationsfähigkeiten und MetaP

Diese Modelle sind auf Argumentation, Programmierung und Problemlösung ausgelegt. Meta hat während des Trainings einige clevere Techniken eingesetzt, um diese Fähigkeiten zu steigern, wie das Entfernen einfacher Prompts und die Verwendung von kontinuierlichem Verstärkungslernen mit zunehmend schwierigen Prompts. Sie haben auch MetaP eingeführt, eine neue Technik, die es ermöglicht, Hyperparameter für ein Modell festzulegen und sie auf andere anzuwenden, was Zeit und Geld spart. Das ist ein echter Durchbruch, insbesondere für das Training von Giganten wie Behemoth, das 32.000 GPUs verwendet und über 30 Billionen Token verarbeitet.

Leistung und Vergleiche

Wie schneiden diese Modelle also ab? Zuckerberg hat klar gemacht, dass seine Vision für Open-Source-KI führend ist, und Llama 4 ist ein großer Schritt in diese Richtung. Sie setzen vielleicht nicht überall neue Leistungsrekorde, aber sie gehören sicherlich zur Spitzenklasse. Zum Beispiel übertrifft Llama 4 Behemoth einige Schwergewichte in bestimmten Benchmarks, obwohl es in anderen noch hinter DeepSeek R1 und der o1-Serie von OpenAI zurückliegt.

Llama 4 Behemoth

• Übertrifft GPT-4.5, Gemini 2.0 Pro und Claude Sonnet 3.7 bei MATH-500 (95,0), GPQA Diamond (73,7) und MMLU Pro (82,2)

Llama 4 Maverick

• Schlägt GPT-4o und Gemini 2.0 Flash bei den meisten multimodalen Argumentations-Benchmarks wie ChartQA, DocVQA, MathVista und MMMU
• Konkurrenzfähig mit DeepSeek v3.1, während weniger als die Hälfte der aktiven Parameter verwendet werden
• Benchmark-Werte: ChartQA (90,0), DocVQA (94,4), MMLU Pro (80,5)

Llama 4 Scout

• Gleicht oder übertrifft Modelle wie Mistral 3.1, Gemini 2.0 Flash-Lite und Gemma 3 bei DocVQA (94,4), MMLU Pro (74,3) und MathVista (70,7)
• Einzigartige Kontextlänge von 10 Millionen Token – ideal für lange Dokumente und Codebasen

Vergleich mit DeepSeek R1

In der obersten Liga hält Llama 4 Behemoth stand, kann aber DeepSeek R1 oder die o1-Serie von OpenAI nicht ganz vom Thron stoßen. Es liegt bei MATH-500 und MMLU leicht zurück, ist aber bei GPQA Diamond vorn. Dennoch ist klar, dass Llama 4 ein starker Konkurrent im Bereich der Argumentation ist.

Sicherheit und politische Neutralität

Meta hat auch die Sicherheit nicht vergessen. Sie haben Tools wie Llama Guard, Prompt Guard und CyberSecEval eingeführt, um alles im Rahmen zu halten. Und sie legen Wert darauf, politische Voreingenommenheit zu reduzieren, mit dem Ziel eines ausgewogeneren Ansatzes, insbesondere nach Zuckerbergs bekannter Unterstützung für republikanische Politik nach der Wahl 2024.

Die Zukunft mit Llama 4

Mit Llama 4 verschiebt Meta die Grenzen von Effizienz, Offenheit und Leistung in der KI. Egal, ob Sie KI-Assistenten auf Unternehmensebene entwickeln oder tief in die KI-Forschung eintauchen möchten, Llama 4 bietet leistungsstarke, flexible Optionen, die die Argumentation in den Vordergrund stellen. Es ist klar, dass Meta entschlossen ist, KI für alle zugänglicher und wirkungsvoller zu machen.