Heim
Google stellt die „Gemma 4 E2B“-Architektur vor – ein Durchbruch im Bereich der gerätebasierten KI

Das Open-Source-Ökosystem für große Modelle hat einen bedeutenden Durchbruch bei seiner zugrunde liegenden Architektur erzielt. Google DeepMind hat kürzlich sein bislang leistungsstärkstes offenes Modell vorgestellt: Gemma4. Während die Anzahl der Parameter des Modells mit rund 30 Milliarden ähnlich hoch ist wie bei seinem Vorgänger, hat seine „Intelligenz pro Parameter“ einen deutlichen Sprung nach vorne gemacht. Seine Leistung bei mehreren Kernaufgaben kann nun mit der der besten Closed-Source-Großmodelle von vor anderthalb Jahren mithalten.
Die bemerkenswerteste technologische Innovation von Gemma4 ist die Einführung der neuen „E2B“-Architektur (Parameter-Offloading). In herkömmlichen Transformer-Designs beansprucht die große Einbettungsschicht in der Regel erheblichen GPU-Speicher. Die neue Architektur fügt auf intelligente Weise in jeder Schicht eine Einbettungstabelle hinzu und ersetzt so die rechenintensive vollständige Matrixmultiplikation durch einen Lookup-Tabellen-Mechanismus. Beispielsweise müssen bei einem Modell mit 50 Milliarden Parametern unter der E2B-Architektur nur 20 Milliarden Parameter in den GPU-Speicher geladen werden, während die verbleibenden 30 Milliarden sicher auf die CPU oder sogar auf die Festplatte ausgelagert werden können. Dadurch kann das Modell schnelle Inferenz mit nur 2 GB GPU-Speicher durchführen und so Einsatzengpässe auf Edge-Geräten wie Mobiltelefonen und dem Raspberry Pi überwinden.
Als äußerst ambitionierte und komplexe Veröffentlichung arbeitete das Google DeepMind-Team mit fast 50 externen Partnern zusammen, darunter Hugging Face, llama.cpp, Ollama, NVIDIA und AMD. Derzeit ist Gemma4 tief in Android Studio integriert. Entwickler können KI sicher aufrufen, um Android-Code lokal in Offline-Umgebungen zu schreiben, ohne im Agent-Modus Code an eine Cloud-API hochladen zu müssen. Dies trägt in hohem Maße der starken Nachfrage nach Datenschutz und Offline-Arbeit am Arbeitsplatz Rechnung.
Was multimodale Fähigkeiten und Kernkompetenzen angeht, baut Gemma4 auf den Forschungsergebnissen von Gemini3 auf. Selbst kleine Edge-Modelle mit 2B oder 4B Parametern bieten hervorragende mehrsprachige Unterstützung (140 Sprachen) und multimodales Verständnis und bewältigen mühelos Spracherkennung, Sprachabfragen sowie die Videoanalyse von 30 bis 60 Sekunden. Obwohl das Modell hinsichtlich der absoluten Wissenskapazität noch hinter größeren Modellen zurückbleibt und in hochmodernen experimentellen Bereichen wie Textdiffusion (Diffusion Transformer) und dem Fine-Tuning mittels „Mixture of Experts“ (MoE) mit branchenweit anerkannten Herausforderungen konfrontiert ist, ist seine hochdichte Intelligenz nicht mehr zu vernachlässigen.
Da sich die sofort einsatzbereiten Fähigkeiten großer Modelle kontinuierlich verbessern, durchläuft das Entwicklungsökosystem in vertikalen Fachbereichen eine tiefgreifende Umstrukturierung, und die Beliebtheit des rein traditionellen Fine-Tunings lässt allmählich nach. Mit Blick auf die Zukunft hat Google DeepMind eine wegweisende Prognose abgegeben: Innerhalb der nächsten ein bis zwei Jahre werden die Smartphones der Nutzer in der Lage sein, leistungsstarke Modelle, die der Leistung von Gemini3Pro entsprechen, direkt auf dem Gerät auszuführen. Zu diesem Zeitpunkt werden die meisten komplexen Aufgaben intelligenter Agenten lokal ausgeführt werden, ohne auf Cloud-Rechenleistung angewiesen zu sein, was zweifellos disruptive Veränderungen für die Integration von Verbraucheranwendungen der nächsten Generation und das Nutzererlebnis mit sich bringen wird.
Verwandter Artikel
Uber-Personalabteilung wird Jahresbudget in vier Monaten aufbrauchen, baut Stellen ab; Sprecher bestreitet Zusammenhang mit KI
Uber hat unter der Leitung der neuen Präsidentin Jill Hazelbaker eine umfassende Umstrukturierung seiner Personalabteilung eingeleitet. Die Umstrukturierung umfasst einen Personalabbau von 23 % innerh
Ehemalige TikTok-Führungskräfte bringen eine KI-gestützte App auf den Markt, mit der man Fotoposen meistern kann
Unternehmen nutzen zunehmend KI-gestützte Bildgenerierung, um Nutzer in Fototechniken zu schulen. Im vergangenen Jahr führte Google auf Pixel-Geräten den „Camera Coach“ ein, der bei der Bildausrichtun
Der KI-Sektor des Hongkonger Aktienmarkts steigt, da MiniMax und Zhipu starke Gewinne verzeichnen
Am 27. Mai zeigte der Sektor für große Modelle am Hongkonger Aktienmarkt eine robuste Dynamik. Bis zur Mittagszeit stieg MINIMAX-W (00100.HK) um mehr als 8 %, während Zhipu (02513.HK) ebenfalls starke Gewinne von fast 5 % verzeichnete.1. Marktkontext
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)

Das Open-Source-Ökosystem für große Modelle hat einen bedeutenden Durchbruch bei seiner zugrunde liegenden Architektur erzielt. Google DeepMind hat kürzlich sein bislang leistungsstärkstes offenes Modell vorgestellt: Gemma4. Während die Anzahl der Parameter des Modells mit rund 30 Milliarden ähnlich hoch ist wie bei seinem Vorgänger, hat seine „Intelligenz pro Parameter“ einen deutlichen Sprung nach vorne gemacht. Seine Leistung bei mehreren Kernaufgaben kann nun mit der der besten Closed-Source-Großmodelle von vor anderthalb Jahren mithalten.
Die bemerkenswerteste technologische Innovation von Gemma4 ist die Einführung der neuen „E2B“-Architektur (Parameter-Offloading). In herkömmlichen Transformer-Designs beansprucht die große Einbettungsschicht in der Regel erheblichen GPU-Speicher. Die neue Architektur fügt auf intelligente Weise in jeder Schicht eine Einbettungstabelle hinzu und ersetzt so die rechenintensive vollständige Matrixmultiplikation durch einen Lookup-Tabellen-Mechanismus. Beispielsweise müssen bei einem Modell mit 50 Milliarden Parametern unter der E2B-Architektur nur 20 Milliarden Parameter in den GPU-Speicher geladen werden, während die verbleibenden 30 Milliarden sicher auf die CPU oder sogar auf die Festplatte ausgelagert werden können. Dadurch kann das Modell schnelle Inferenz mit nur 2 GB GPU-Speicher durchführen und so Einsatzengpässe auf Edge-Geräten wie Mobiltelefonen und dem Raspberry Pi überwinden.
Als äußerst ambitionierte und komplexe Veröffentlichung arbeitete das Google DeepMind-Team mit fast 50 externen Partnern zusammen, darunter Hugging Face, llama.cpp, Ollama, NVIDIA und AMD. Derzeit ist Gemma4 tief in Android Studio integriert. Entwickler können KI sicher aufrufen, um Android-Code lokal in Offline-Umgebungen zu schreiben, ohne im Agent-Modus Code an eine Cloud-API hochladen zu müssen. Dies trägt in hohem Maße der starken Nachfrage nach Datenschutz und Offline-Arbeit am Arbeitsplatz Rechnung.
Was multimodale Fähigkeiten und Kernkompetenzen angeht, baut Gemma4 auf den Forschungsergebnissen von Gemini3 auf. Selbst kleine Edge-Modelle mit 2B oder 4B Parametern bieten hervorragende mehrsprachige Unterstützung (140 Sprachen) und multimodales Verständnis und bewältigen mühelos Spracherkennung, Sprachabfragen sowie die Videoanalyse von 30 bis 60 Sekunden. Obwohl das Modell hinsichtlich der absoluten Wissenskapazität noch hinter größeren Modellen zurückbleibt und in hochmodernen experimentellen Bereichen wie Textdiffusion (Diffusion Transformer) und dem Fine-Tuning mittels „Mixture of Experts“ (MoE) mit branchenweit anerkannten Herausforderungen konfrontiert ist, ist seine hochdichte Intelligenz nicht mehr zu vernachlässigen.
Da sich die sofort einsatzbereiten Fähigkeiten großer Modelle kontinuierlich verbessern, durchläuft das Entwicklungsökosystem in vertikalen Fachbereichen eine tiefgreifende Umstrukturierung, und die Beliebtheit des rein traditionellen Fine-Tunings lässt allmählich nach. Mit Blick auf die Zukunft hat Google DeepMind eine wegweisende Prognose abgegeben: Innerhalb der nächsten ein bis zwei Jahre werden die Smartphones der Nutzer in der Lage sein, leistungsstarke Modelle, die der Leistung von Gemini3Pro entsprechen, direkt auf dem Gerät auszuführen. Zu diesem Zeitpunkt werden die meisten komplexen Aufgaben intelligenter Agenten lokal ausgeführt werden, ohne auf Cloud-Rechenleistung angewiesen zu sein, was zweifellos disruptive Veränderungen für die Integration von Verbraucheranwendungen der nächsten Generation und das Nutzererlebnis mit sich bringen wird.
Uber-Personalabteilung wird Jahresbudget in vier Monaten aufbrauchen, baut Stellen ab; Sprecher bestreitet Zusammenhang mit KI
Uber hat unter der Leitung der neuen Präsidentin Jill Hazelbaker eine umfassende Umstrukturierung seiner Personalabteilung eingeleitet. Die Umstrukturierung umfasst einen Personalabbau von 23 % innerh
Ehemalige TikTok-Führungskräfte bringen eine KI-gestützte App auf den Markt, mit der man Fotoposen meistern kann
Unternehmen nutzen zunehmend KI-gestützte Bildgenerierung, um Nutzer in Fototechniken zu schulen. Im vergangenen Jahr führte Google auf Pixel-Geräten den „Camera Coach“ ein, der bei der Bildausrichtun
Der KI-Sektor des Hongkonger Aktienmarkts steigt, da MiniMax und Zhipu starke Gewinne verzeichnen
Am 27. Mai zeigte der Sektor für große Modelle am Hongkonger Aktienmarkt eine robuste Dynamik. Bis zur Mittagszeit stieg MINIMAX-W (00100.HK) um mehr als 8 %, während Zhipu (02513.HK) ebenfalls starke Gewinne von fast 5 % verzeichnete.1. Marktkontext











