Swiftlet, eine Swift+Metal-Laufzeitumgebung, ermöglicht die Ausführung großer MoE-Modelle wie Qwen3.6-35B-A3B und Qwen3-Next-80B-A3B mit minimalem Speicherbedarf, indem nur der „Dense Core“ im RAM verbleibt, während die Expertengewichte per Streaming von der SSD geladen werden. Auf einem M5-Mac erreicht das 35B-Modell einen Spitzenwert von 2,6 GB (7–11 tok/s) und das 80B-Modell einen Spitzenwert von 4,3 GB (4,5–5 tok/s). Die 35B-Version läuft zudem nativ auf einem iPhone 17 mit ca. 2,5 GB und 1 Tok/s. Das System nutzt ein fein abgestuftes „Token-to-Expert“-Routing, Pread-basierte SSD-Abrufe, LFU-Caching und zur Laufzeit kompilierte Metal-Shader und unterstützt den Einsatz unter iOS sowie OpenAI-kompatible Server-Schnittstellen.
Durch das Klicken auf „Alle Cookies akzeptieren“ stimmen Sie zu, dass Cookies auf Ihrem Gerät gespeichert werden, um die Seitennavigation zu verbessern, die Seitennutzung zu analysieren und unsere Marketingbemühungen zu unterstützen.Datenschutzerklärung Hinweis
Beim Besuch einer Website kann diese Informationen in Ihrem Browser speichern oder abrufen, hauptsächlich in Form von Cookies. Diese Informationen können sich auf Sie, Ihre Präferenzen oder Ihr Gerät beziehen und dienen hauptsächlich dazu, dass die Website so funktioniert, wie Sie es erwarten. Die Informationen identifizieren Sie in der Regel nicht direkt, können Ihnen aber ein personalisierteres Web-Erlebnis bieten. Da wir Ihr Recht auf Privatsphäre respektieren, können Sie wählen, dass Sie bestimmte Arten von Cookies nicht zulassen. Klicken Sie auf die verschiedenen Kategorietitel, um mehr zu erfahren und unsere Standardeinstellungen zu ändern. Das Blockieren bestimmter Arten von Cookies kann jedoch Ihre Erfahrung auf der Website und die von uns angebotenen Dienste beeinträchtigen. DatenschutzerklärungErklärung
Einstellungen verwalten
Unbedingt erforderliche Cookies
Immer aktiv
Diese Cookies sind für die Funktionalität der Website erforderlich und können in unseren Systemen nicht deaktiviert werden. Sie werden normalerweise nur in Reaktion auf Ihre Aktionen gesetzt, die einer Dienstanfrage entsprechen, z. B. das Einstellen Ihrer Datenschutzpräferenzen, das Anmelden oder das Ausfüllen von Formularen. Sie können Ihren Browser so einstellen, dass diese Cookies blockiert oder Sie darüber benachrichtigt werden, aber einige Teile der Website werden dann nicht mehr funktionieren. Diese Cookies speichern keine personenbezogenen Daten.