Heim
Das iPhone 17 Pro führt ein lokales Modell mit 400 Milliarden Parametern mit 0,6 Token pro Sekunde aus.

Was definiert die rechnerische Obergrenze moderner Smartphones? Apples neuestes Flaggschiff, das iPhone17Pro , hat eine Antwort geliefert, die ebenso beeindruckend wie demütigend ist.
Am 23. März wurde ein großes Sprachmodell mit 400 Milliarden Parametern erfolgreich auf dem iPhone17Pro ausgeführt. Bemerkenswerterweise erfordern solche Modelle selbst nach der Quantisierung typischerweise mindestens 200 GB Speicher, während das iPhone17Pro lediglich über 12 GB LPDDR5X-RAM verfügt.
Technische Innovation: Flash-Speicher-Streaming und Mixture of Experts (MoE)
Diese „unmögliche Leistung“ wurde vor allem durch zwei zentrale technische Strategien erreicht, um die schweren Speichereinschränkungen zu überwinden:
SSD als virtueller Speicher: Durch die Nutzung des Open-Source-Projekts Flash-MoE werden Daten direkt vom Solid-State-Laufwerk (SSD) an die GPU gestreamt, wodurch die physischen Speichergrenzen effektiv umgangen werden.
Vorteile der MoE-Architektur: „MoE“ steht für Mixture of Experts (Mix der Experten), ein Design, bei dem das System nur einen Teil der 400 Milliarden Parameter für jedes generierte Wort aktiviert, anstatt das gesamte Modell zu laden.
Leistungshandicap: Langsame Generierungsgeschwindigkeit
Obwohl die Ausführung erfolgreich war, bleibt die Benutzererfahrung weit von der Praxistauglichkeit entfernt. Die Testergebnisse zeigen:
Generierungsrate: Die Geschwindigkeit ist auf 0,6 Token pro Sekunde begrenzt, was bedeutet, dass für die Erzeugung eines einzelnen Wortes etwa 1,5 bis 2 Sekunden benötigt werden.
Strom- und Wärmeeinfluss: Diese intensive lokale Verarbeitung erschöpft den Akkustand schnell und erzeugt erhebliche Wärme.
Branchenperspektive: Erreicht lokales KI eine „Singularität“?
Trotz der derzeit suboptimalen Generierungsgeschwindigkeit überwiegt die symbolische Bedeutung dieser Demonstration ihren unmittelbaren Nutzen. Sie beweist, dass das Ausführen großer Modelle lokal auf Smartphones ein gangbarer Weg ist.
Verbesserte Privatsphäre: Durch die lokale Verarbeitung bleiben die Daten auf dem Gerät, sodass kein Upload in die Cloud erforderlich ist, was einen überlegenen Datenschutz bietet.
Offline-Fähigkeit: Der Zugriff auf fortschrittliche KI-Antworten ohne Internetverbindung wird zunehmend machbar.
Verwandter Artikel
Google aktualisiert die Gemini-App, um bei der IO 2026 mit ChatGPT und Claude zu konkurrieren
Während der jährlichen Google I/O-Veranstaltung am Dienstag stellte Google eine Reihe von Updates für die Gemini-App vor, darunter die Funktion „Daily Brief“ (Tägliches Update), eine überarbeitete Benutzeroberfläche, Zugang zum neuen Gemini Omni KI-V
Qianwen Creation stellt 7-Tage-Mitgliedschaft mit 200 Punkten und Schnellzugriffstools für Reisefotografie vor
Qwen Create hat offiziell einen 7-Tage-Mitgliedschaftsplan eingeführt, der für unmittelbare, leichtgewichtige KI-Erstellungsaufgaben konzipiert ist, darunter Reisefotografie, Event-Marketing und Social-Media-Inhalte. Nach dem Kauf erhalten Nutzer 200
iOS 27.2 Beta bringt ein umfassendes Redesign der Gesundheits-App und Siri wird auf fünf Sprachen erweitert
Apple hat gerade das erste iOS 27.2 Beta für Entwickler veröffentlicht. Apple hat die erwartete Testphase von iOS 27.1 übersprungen und den Testzyklus für 27.2 direkt am 16. September gestartet, wobei initiale Betas für iOS, iPadOS, macOS, watchOS, t
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)

Was definiert die rechnerische Obergrenze moderner Smartphones? Apples neuestes Flaggschiff, das
Am 23. März wurde ein großes Sprachmodell mit 400 Milliarden Parametern erfolgreich auf dem
Technische Innovation: Flash-Speicher-Streaming und Mixture of Experts (MoE)
Diese „unmögliche Leistung“ wurde vor allem durch zwei zentrale technische Strategien erreicht, um die schweren Speichereinschränkungen zu überwinden:
SSD als virtueller Speicher: Durch die Nutzung des Open-Source-Projekts Flash-MoE werden Daten direkt vom Solid-State-Laufwerk (SSD) an die GPU gestreamt, wodurch die physischen Speichergrenzen effektiv umgangen werden.
Vorteile der MoE-Architektur: „MoE“ steht für Mixture of Experts (Mix der Experten), ein Design, bei dem das System nur einen Teil der 400 Milliarden Parameter für jedes generierte Wort aktiviert, anstatt das gesamte Modell zu laden.
Leistungshandicap: Langsame Generierungsgeschwindigkeit
Obwohl die Ausführung erfolgreich war, bleibt die Benutzererfahrung weit von der Praxistauglichkeit entfernt. Die Testergebnisse zeigen:
Generierungsrate: Die Geschwindigkeit ist auf 0,6 Token pro Sekunde begrenzt, was bedeutet, dass für die Erzeugung eines einzelnen Wortes etwa 1,5 bis 2 Sekunden benötigt werden.
Strom- und Wärmeeinfluss: Diese intensive lokale Verarbeitung erschöpft den Akkustand schnell und erzeugt erhebliche Wärme.
Branchenperspektive: Erreicht lokales KI eine „Singularität“?
Trotz der derzeit suboptimalen Generierungsgeschwindigkeit überwiegt die symbolische Bedeutung dieser Demonstration ihren unmittelbaren Nutzen. Sie beweist, dass das Ausführen großer Modelle lokal auf Smartphones ein gangbarer Weg ist.
Verbesserte Privatsphäre: Durch die lokale Verarbeitung bleiben die Daten auf dem Gerät, sodass kein Upload in die Cloud erforderlich ist, was einen überlegenen Datenschutz bietet.
Offline-Fähigkeit: Der Zugriff auf fortschrittliche KI-Antworten ohne Internetverbindung wird zunehmend machbar.
Google aktualisiert die Gemini-App, um bei der IO 2026 mit ChatGPT und Claude zu konkurrieren
Während der jährlichen Google I/O-Veranstaltung am Dienstag stellte Google eine Reihe von Updates für die Gemini-App vor, darunter die Funktion „Daily Brief“ (Tägliches Update), eine überarbeitete Benutzeroberfläche, Zugang zum neuen Gemini Omni KI-V
Qianwen Creation stellt 7-Tage-Mitgliedschaft mit 200 Punkten und Schnellzugriffstools für Reisefotografie vor
Qwen Create hat offiziell einen 7-Tage-Mitgliedschaftsplan eingeführt, der für unmittelbare, leichtgewichtige KI-Erstellungsaufgaben konzipiert ist, darunter Reisefotografie, Event-Marketing und Social-Media-Inhalte. Nach dem Kauf erhalten Nutzer 200
iOS 27.2 Beta bringt ein umfassendes Redesign der Gesundheits-App und Siri wird auf fünf Sprachen erweitert
Apple hat gerade das erste iOS 27.2 Beta für Entwickler veröffentlicht. Apple hat die erwartete Testphase von iOS 27.1 übersprungen und den Testzyklus für 27.2 direkt am 16. September gestartet, wobei initiale Betas für iOS, iPadOS, macOS, watchOS, t











