Deutsches Forschungskonsortium stellt Open-Source-KI-Modell Soofi vor
Der Deutsche Verein für Künstliche Intelligenz hat offiziell Soofi S30B-A3B veröffentlicht, ein neues Open-Source-Großes Sprachmodell. Dieser Meilenstein fördert Europas souveräne KI-Infrastruktur und belebt den Open-Source-Sektor mit Fokus auf hohe Leistung und Effizienz wieder.
Soofi S30B-A3B zeichnet sich durch eine innovative Architektur aus, die Effizienz und Leistungsfähigkeit in Einklang bringt. Unter Verwendung eines Mixture-of-Experts-(MoE)-Designs in Kombination mit Mamba-2 und Standard-Aufmerksamkeitslagen enthält das Modell 31,6 Milliarden Parameter, aktiviert jedoch nur ca. 3,2 Milliarden pro Token. Dieser Ansatz reduziert die Rechenkosten drastisch und liefert Geschwindigkeiten, die kleineren Modellen entsprechen, während gleichzeitig ein hoher Durchsatz aufrechterhalten wird. Bemerkenswerterweise verarbeitet es lange Kontexte (bis zu 40.000 Token) mit der achtfachen Generierungsdurchsatzleistung traditioneller dichter Modelle und gewährleistet so Stabilität, selbst wenn die Kontextlänge zunimmt.

Beim Training stand die Beherrschung der deutschen Sprache im Vordergrund. Über 27 Billionen Token hinweg erhöhte das Team den Anteil deutscher Daten von 7,2 % auf 15,3 % und integrierte diverse Quellen wie Wikipedia, Nachrichten und technische Dokumente. Diese Strategie gewährleistet eine herausragende Leistung bei komplexen Aufgaben in deutscher Sprache.
Benchmark-Ergebnisse bestätigen die Führungsposition von Soofi S30B-A3B unter den Open-Source-Modellen in Englisch und Deutsch, wobei es OLMo332B und Apertus70B übertrifft. Es glänzt bei der Codegenerierung, professioneller Schlussfolgerung und regionalem Wissen. Das Team weist jedoch auf Verbesserungsbedarf bei der Extraktion ultra-langer Kontexte und der mathematischen Schlussfolgerung in deutscher Sprache hin.

Das Projekt wurde in der Industrial AI Cloud der Deutschen Telekom in München unter Verwendung von 512 Nvidia B200 GPUs trainiert und ist Teil der europäischen IPCEI-CIS-Initiative. Vollständig mit erneuerbaren Energien betrieben, werden die Modellgewichte, der Auswertungscode und die Datenlisten schrittweise als Open Source freigegeben. Diese Transparenz unterstützt europäische industrielle Anwendungen, und das Team sucht derzeit nach Industriepartnern, um Anwendungen in technischer Dokumentation und Codegenerierung zu erkunden.
Verwandter Artikel
Toytas Schätzung von 6,4 Milliarden US-Dollar für Robotik rückt Physical AI in den Fokus
Toyota Motor geht davon aus, dass die flächendeckende Einführung der Automatisierung in ihren Fertigungsstätten, Tochtergesellschaften und wichtigsten Zulieferern ab 2028 etwa 400.000 Roboter und jährliche Ausgaben von rund einer Billion Yen (6,4 Mil
Meta Open-Sources 30B-Parameter Muse Glimmer für Lokale KI-Agenten auf Consumer-Hardware
Am 10. August hat Meta Muse Glimmer veröffentlicht, ein Open-Source-Modell, das darauf abzielt, lokale KI-Agenten auf Consumer-Hardware zu stärken, und damit einen wichtigen Schritt in seiner Strategie der „Personal Superintelligence“ darstellt. Mit
GPT-5.6 könnte nächste Woche starten, mit Fokus auf agentenbasierte operative Fähigkeiten
Die wettbewerbsintensive Landschaft der künstlichen Intelligenz verdichtet sich rasant. Aktuelle Lecks bezüglich Testupdates haben das neue Flaggschiff-Modell GPT-5.6 in den Fokus gerückt. Der Marktkonsens deutet auf einen offiziellen Start im zweite
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)
Der Deutsche Verein für Künstliche Intelligenz hat offiziell Soofi S30B-A3B veröffentlicht, ein neues Open-Source-Großes Sprachmodell. Dieser Meilenstein fördert Europas souveräne KI-Infrastruktur und belebt den Open-Source-Sektor mit Fokus auf hohe Leistung und Effizienz wieder.
Soofi S30B-A3B zeichnet sich durch eine innovative Architektur aus, die Effizienz und Leistungsfähigkeit in Einklang bringt. Unter Verwendung eines Mixture-of-Experts-(MoE)-Designs in Kombination mit Mamba-2 und Standard-Aufmerksamkeitslagen enthält das Modell 31,6 Milliarden Parameter, aktiviert jedoch nur ca. 3,2 Milliarden pro Token. Dieser Ansatz reduziert die Rechenkosten drastisch und liefert Geschwindigkeiten, die kleineren Modellen entsprechen, während gleichzeitig ein hoher Durchsatz aufrechterhalten wird. Bemerkenswerterweise verarbeitet es lange Kontexte (bis zu 40.000 Token) mit der achtfachen Generierungsdurchsatzleistung traditioneller dichter Modelle und gewährleistet so Stabilität, selbst wenn die Kontextlänge zunimmt.

Beim Training stand die Beherrschung der deutschen Sprache im Vordergrund. Über 27 Billionen Token hinweg erhöhte das Team den Anteil deutscher Daten von 7,2 % auf 15,3 % und integrierte diverse Quellen wie Wikipedia, Nachrichten und technische Dokumente. Diese Strategie gewährleistet eine herausragende Leistung bei komplexen Aufgaben in deutscher Sprache.
Benchmark-Ergebnisse bestätigen die Führungsposition von Soofi S30B-A3B unter den Open-Source-Modellen in Englisch und Deutsch, wobei es OLMo332B und Apertus70B übertrifft. Es glänzt bei der Codegenerierung, professioneller Schlussfolgerung und regionalem Wissen. Das Team weist jedoch auf Verbesserungsbedarf bei der Extraktion ultra-langer Kontexte und der mathematischen Schlussfolgerung in deutscher Sprache hin.

Das Projekt wurde in der Industrial AI Cloud der Deutschen Telekom in München unter Verwendung von 512 Nvidia B200 GPUs trainiert und ist Teil der europäischen IPCEI-CIS-Initiative. Vollständig mit erneuerbaren Energien betrieben, werden die Modellgewichte, der Auswertungscode und die Datenlisten schrittweise als Open Source freigegeben. Diese Transparenz unterstützt europäische industrielle Anwendungen, und das Team sucht derzeit nach Industriepartnern, um Anwendungen in technischer Dokumentation und Codegenerierung zu erkunden.
Toytas Schätzung von 6,4 Milliarden US-Dollar für Robotik rückt Physical AI in den Fokus
Toyota Motor geht davon aus, dass die flächendeckende Einführung der Automatisierung in ihren Fertigungsstätten, Tochtergesellschaften und wichtigsten Zulieferern ab 2028 etwa 400.000 Roboter und jährliche Ausgaben von rund einer Billion Yen (6,4 Mil
Meta Open-Sources 30B-Parameter Muse Glimmer für Lokale KI-Agenten auf Consumer-Hardware
Am 10. August hat Meta Muse Glimmer veröffentlicht, ein Open-Source-Modell, das darauf abzielt, lokale KI-Agenten auf Consumer-Hardware zu stärken, und damit einen wichtigen Schritt in seiner Strategie der „Personal Superintelligence“ darstellt. Mit
GPT-5.6 könnte nächste Woche starten, mit Fokus auf agentenbasierte operative Fähigkeiten
Die wettbewerbsintensive Landschaft der künstlichen Intelligenz verdichtet sich rasant. Aktuelle Lecks bezüglich Testupdates haben das neue Flaggschiff-Modell GPT-5.6 in den Fokus gerückt. Der Marktkonsens deutet auf einen offiziellen Start im zweite





Heim






