Meta enthüllt llama 4 mit langen Kontext -Scout- und Maverick -Modellen, 2T -Parameter -Giganten in Kürze!

Bereits im Januar 2025 wurde die KI-Welt erschüttert, als ein relativ unbekanntes chinesisches KI-Startup, Deepseek, mit ihrem bahnbrechenden Open-Source-Sprach-Argumentationsmodell Deepseek R1 den Handschuh niederlegte. Dieses Modell übertraf nicht nur Meta wie Meta, sondern tat dies auch zu einem Bruchteil der Kosten - - als nur wenige Millionen Dollar. Das ist die Art von Budget -Meta könnte nur für ein paar seiner KI -Teamleiter ausgeben! Diese Nachricht hat Meta in ein bisschen rassig geschickt, zumal ihr neuestes Lama -Modell, Version 3.3, das erst im Monat zuvor veröffentlicht wurde, bereits ein bisschen veraltet aussah.

Der schnelle Stürmer bis heute, und Mark Zuckerberg, Gründer und CEO von Meta, hat sich auf Instagram gebracht, um die Einführung der neuen Lama 4 -Serie bekannt zu geben. Diese Serie umfasst den 400-Milliarden Parameter LLAMA 4 Maverick und den 109-Milliarden Parameter LLAMA 4 Scout, beide für Entwickler zum Herunterladen und Basteln von LLAMA.com und dem Umarmungsgesicht zur Verfügung. Es gibt auch einen kleinen Einblick in ein kolossales 2-Billion-Parametermodell, Lama 4-Gigant, das noch im Training ist, ohne Veröffentlichungsdatum in Sicht.

Multimodale und langkontextbezogene Funktionen

Eines der herausragenden Merkmale dieser neuen Modelle ist ihre multimodale Natur. Es geht nicht nur um Text; Sie können auch mit Video und Bildern umgehen. Und sie haben unglaublich lange Kontextfenster - 1 Millionen Token für Maverick und satte 10 Millionen für Scout. Um das ins rechte Licht zu rücken, ist das wie bis zu 1.500 und 15.000 Seiten Text auf einmal zu handhaben! Stellen Sie sich die Möglichkeiten für Felder wie Medizin, Wissenschaft oder Literatur vor, in denen Sie große Mengen an Informationen verarbeiten und generieren müssen.

Expertenmischung Architektur

Alle drei Lama 4-Modelle verwenden die Architektur "Expertenmischung (MOE)), eine Technik, die Wellen schlägt, die von Unternehmen wie OpenAI und Mistral populär gemacht wurde. Dieser Ansatz kombiniert mehrere kleinere, spezialisierte Modelle zu einem größeren, effizienteren Modell. Jedes Lama 4-Modell ist eine Mischung aus 128 verschiedenen Experten, was bedeutet, dass nur der notwendige Experte und ein gemeinsamer Handel mit jedem Token umgehen, was die Modelle kostengünstiger und schneller zu betreiben. Meta verfügt über, dass Lama 4 -Maverick auf einem einzelnen NVIDIA H100 DGX -Host ausgeführt werden kann, was die Bereitstellung zum Kinderspiel macht.

Kostengünstig und zugänglich

Bei Meta geht es darum, diese Modelle zugänglich zu machen. Sowohl Scout als auch Maverick sind zum Selbstveranstalter verfügbar und haben sogar einige verlockende Kostenschätzungen geteilt. Zum Beispiel liegt die Inferenzkosten für Lama 4 Maverick zwischen 0,19 und 0,49 USD pro Million Token, was im Vergleich zu anderen proprietären Modellen wie GPT-4O ein Diebstahl ist. Und wenn Sie daran interessiert sind, diese Modelle über einen Cloud -Anbieter zu verwenden, hat sich COQ bereits mit wettbewerbsfähigen Preisgestaltung verschärft.

Verbessertes Denken und Metap

Diese Modelle werden mit Bedenken von Argumentation, Codierung und Problemlösung erstellt. Metas verwendete einige clevere Techniken während des Trainings, um diese Funktionen zu steigern, z. B. das Entfernen einfacher Eingaben und die Verwendung kontinuierlicher Verstärkungslernen mit immer schwierigeren Aufforderungen. Sie haben auch Metap eingeführt, eine neue Technik, mit der Hyperparameter auf einem Modell festgelegt und auf andere angewendet werden können, um Zeit und Geld zu sparen. Es ist ein Game-Changer, insbesondere für Trainingsmonster wie Behemoth, das 32-km-GPUs verwendet und über 30 Billionen Token verarbeitet.

Leistung und Vergleiche

Wie stapeln sich diese Modelle? Zuckerberg war sich über seine Vision für Open-Source-KI, die die Anklage anführt, klar, und Lama 4 ist ein großer Schritt in diese Richtung. Während sie möglicherweise keine neuen Leistungsrekorde auf der ganzen Linie aufstellen, sind sie sicherlich ganz oben auf ihrer Klasse. Zum Beispiel übertrifft das Lama 4-Gigant einige schwere Schläger bei bestimmten Benchmarks, obwohl es in anderen immer noch mit Deepseek R1 und Openais O1-Serie aufholt.

LAMA 4 GERICHTH

• Übertrifft GPT-4,5, Gemini 2.0 Pro und Claude Sonnet 3.7 auf Math-500 (95,0), GPQA Diamond (73,7) und MMLU Pro (82,2)

Lama 4 Maverick

• Beats GPT-4O und Gemini 2.0 Flash auf den meisten multimodalen Argumentationsbenchmarks wie Chartqa, Docvqa, Mathvista und MMMU
• Wettbewerbsfähig mit Deepseek v3.1, während sie weniger als die Hälfte der aktiven Parameter verwenden
• Benchmark -Bewertungen: Chartqa (90,0), docvqa (94,4), MMLU Pro (80,5)

Lama 4 Scout

• Übereinstimmung oder übertrifft Modelle wie Mistral 3.1, Gemini 2.0 Flash-Lite und Gemma 3 auf DOCVQA (94,4), MMLU Pro (74,3) und Mathvista (70,7)
• Unübertroffen 10 m Token -Kontextlänge - ideal für lange Dokumente und Codebasen

Vergleich mit Deepseek R1

Wenn es um die Big Leagues geht, hält Llama 4 Gigantoth seine eigene, entthron Deepseek R1 oder Openais O1 -Serie nicht ganz. Es ist etwas hinter Math-500 und MMLU zurück, aber mit GPQA Diamond voraus. Trotzdem ist klar, dass Lama 4 ein starker Anwärter im Argumentationsraum ist.

Sicherheit und politische Neutralität

Meta hat auch die Sicherheit nicht vergessen. Sie haben Tools wie Lama Guard, prompt Guard und Cyberseceval eingeführt, um die Dinge auf dem Laufenden zu halten. Und sie setzen sich auf die Reduzierung der politischen Vorurteile aus und zielen auf einen ausgewogeneren Ansatz ab, insbesondere nachdem Zuckerbergs bemerkenswerte Unterstützung für die Wahl der republikanischen Politik nach 2024 Wahlen festgestellt wurde.

Die Zukunft mit Lama 4

Mit Lama 4 überschreitet Meta die Grenzen von Effizienz, Offenheit und Leistung in AI. Egal, ob Sie AI-Assistenten auf Unternehmensebene aufbauen oder tief in AI Research eintauchen, Lama 4 bietet leistungsstarke, flexible Optionen, die Argumentation priorisieren. Es ist klar, dass Meta sich dafür einsetzt, KI für alle zugänglicher und wirkungsvoller zu machen.