Heim
M6 Intelligence und Tsinghua veröffentlichen Open-Source-Projekt „BitCPM-CANN“ für die Ausführung großer Modelle auf Mobilgeräten
MBLab hat in Zusammenarbeit mit der Tsinghua-Universität und der Open-Source-Community OpenBMB kürzlich einen bedeutenden Durchbruch beim Training großer Modelle mit geringer Bitrate veröffentlicht und als Open Source zur Verfügung gestellt: BitCPM-CANN. Dieser Meilenstein, der nativ auf der Ascend-Plattform von Huawei entwickelt wurde, treibt die Gewichtsreduzierung und den technischen Einsatz großer KI-Modelle am Edge voran.

Sechsfacher Speichervorteil überwindet Hardware-Barrieren
BitCPM-CANN, das nun als Open-Source-Software verfügbar ist, gibt es in vier Größen: 0,5B, 1B, 3B und 8B. Im direkten Vergleich mit Modellen gleicher Größe in voller Genauigkeit liefert es eine herausragende Leistung. Im Vergleich zur herkömmlichen BF16-Präzision erzielt es bei der Inferenz eine etwa sechsmal so hohe Speichereinsparung, wodurch der für die Ausführung großer Modelle erforderliche Hardwareaufwand drastisch reduziert wird.
Für mobile Geräte bedeutet dieser sechsfache Speichervorteil, dass große Modelle mit 8B Parametern – für die früher High-End-Hardware erforderlich war – nun reibungslos auf gängigen Flaggschiff-Smartphones laufen können. Dieser bemerkenswerte Speicherpuffer beschleunigt direkt die Einführung und den kommerziellen Einsatz von Edge-AI-Technologie auf mobilen Plattformen.
Hohe Beibehaltungsrate bestätigt die Reproduzierbarkeit der Entwicklung
Trotz der Reduzierung der Modellgröße behält BitCPM-CANN eine außergewöhnlich hohe Leistung bei, mit Leistungserhaltungsraten zwischen 90 % und 97,2 %. Bei den drei größeren Modellgrößen liegen die Retentionsraten zwischen 95,7 % und 97,2 %, während selbst die kleinste 0,5-Milliarden-Variante 90 % übersteigt.
Diese beeindruckenden Ergebnisse belegen systematisch, dass der Low-Bit-Trainingsansatz eine hohe Skalierbarkeit und technische Reproduzierbarkeit bietet. MBLab hat mithilfe dieser Kerntechnologien eine umfassende Grundlage für das Low-Bit-Training geschaffen, die den gesamten technischen Stack abdeckt – einschließlich Umgebungsanpassung, Unterstützung für 32K-Langsequenzen und fusionierte Operatoren – und damit eine robuste öffentliche Infrastruktur für zukünftige Arbeiten zum Low-Bit-Training auf der Ascend-Plattform bereitstellt.
Verwandter Artikel
Apple stimmt einer Vergleichszahlung von 250 Millionen US-Dollar wegen der verzögerten Einführung der Siri-KI zu
Apple hat zugestimmt, 250 Millionen US-Dollar zu zahlen, um einen Sammelklageprozess bezüglich der Vermarktung von KI-Funktionen vor dem Start des iPhone 16 beizulegen, wie erstmals vom Financial Times berichtet wurde.Die Klage behauptete, Apple hab
Ando startet die Team-Messaging-App, die die Zusammenarbeit zwischen Mensch und KI verbindet
Im Jahr 2025, als Sara Du Unternehmen bei der Entwicklung von MCP-Servern unterstützte, tauchte eine wiederkehrende Frage auf: Wie könnten Teams KI-Agenten direkt in Slack nutzen? Der Weg war durch erhebliche technische Hürden versperrt, darunter die
Sequoia-gefördertes Empirik sammelt 21 Millionen US-Dollar ein, um Ausfälle vorherzusagen, bevor sie eintreten
Bevor Avon Puri 2020 als Chief Digital and Information Officer zu Sequoia Capital stieß, leitete er über ein Jahrzehnt lang die Infrastrukturabteilung bei Rubrik und VMware. Vor drei Jahren, als Large Language Models ihr wahres Potenzial zu entfalten
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)
MBLab hat in Zusammenarbeit mit der Tsinghua-Universität und der Open-Source-Community OpenBMB kürzlich einen bedeutenden Durchbruch beim Training großer Modelle mit geringer Bitrate veröffentlicht und als Open Source zur Verfügung gestellt: BitCPM-CANN. Dieser Meilenstein, der nativ auf der Ascend-Plattform von Huawei entwickelt wurde, treibt die Gewichtsreduzierung und den technischen Einsatz großer KI-Modelle am Edge voran.

Sechsfacher Speichervorteil überwindet Hardware-Barrieren
BitCPM-CANN, das nun als Open-Source-Software verfügbar ist, gibt es in vier Größen: 0,5B, 1B, 3B und 8B. Im direkten Vergleich mit Modellen gleicher Größe in voller Genauigkeit liefert es eine herausragende Leistung. Im Vergleich zur herkömmlichen BF16-Präzision erzielt es bei der Inferenz eine etwa sechsmal so hohe Speichereinsparung, wodurch der für die Ausführung großer Modelle erforderliche Hardwareaufwand drastisch reduziert wird.
Für mobile Geräte bedeutet dieser sechsfache Speichervorteil, dass große Modelle mit 8B Parametern – für die früher High-End-Hardware erforderlich war – nun reibungslos auf gängigen Flaggschiff-Smartphones laufen können. Dieser bemerkenswerte Speicherpuffer beschleunigt direkt die Einführung und den kommerziellen Einsatz von Edge-AI-Technologie auf mobilen Plattformen.
Hohe Beibehaltungsrate bestätigt die Reproduzierbarkeit der Entwicklung
Trotz der Reduzierung der Modellgröße behält BitCPM-CANN eine außergewöhnlich hohe Leistung bei, mit Leistungserhaltungsraten zwischen 90 % und 97,2 %. Bei den drei größeren Modellgrößen liegen die Retentionsraten zwischen 95,7 % und 97,2 %, während selbst die kleinste 0,5-Milliarden-Variante 90 % übersteigt.
Diese beeindruckenden Ergebnisse belegen systematisch, dass der Low-Bit-Trainingsansatz eine hohe Skalierbarkeit und technische Reproduzierbarkeit bietet. MBLab hat mithilfe dieser Kerntechnologien eine umfassende Grundlage für das Low-Bit-Training geschaffen, die den gesamten technischen Stack abdeckt – einschließlich Umgebungsanpassung, Unterstützung für 32K-Langsequenzen und fusionierte Operatoren – und damit eine robuste öffentliche Infrastruktur für zukünftige Arbeiten zum Low-Bit-Training auf der Ascend-Plattform bereitstellt.
Apple stimmt einer Vergleichszahlung von 250 Millionen US-Dollar wegen der verzögerten Einführung der Siri-KI zu
Apple hat zugestimmt, 250 Millionen US-Dollar zu zahlen, um einen Sammelklageprozess bezüglich der Vermarktung von KI-Funktionen vor dem Start des iPhone 16 beizulegen, wie erstmals vom Financial Times berichtet wurde.Die Klage behauptete, Apple hab
Ando startet die Team-Messaging-App, die die Zusammenarbeit zwischen Mensch und KI verbindet
Im Jahr 2025, als Sara Du Unternehmen bei der Entwicklung von MCP-Servern unterstützte, tauchte eine wiederkehrende Frage auf: Wie könnten Teams KI-Agenten direkt in Slack nutzen? Der Weg war durch erhebliche technische Hürden versperrt, darunter die
Sequoia-gefördertes Empirik sammelt 21 Millionen US-Dollar ein, um Ausfälle vorherzusagen, bevor sie eintreten
Bevor Avon Puri 2020 als Chief Digital and Information Officer zu Sequoia Capital stieß, leitete er über ein Jahrzehnt lang die Infrastrukturabteilung bei Rubrik und VMware. Vor drei Jahren, als Large Language Models ihr wahres Potenzial zu entfalten











