Offene Gewichtsdefinition bietet eine neue Perspektive in der OSAID -Debatte

Die Debatte darüber, was Open-Source-KI ausmacht, entwickelt sich weiter, mit bedeutenden Beiträgen von Entwicklern und Branchenführern. Die Open Source Initiative (OSI) hat versucht, eine klare Definition mit ihrer Open Source AI Definition (OSAID) zu etablieren, doch es bestehen weiterhin Meinungsverschiedenheiten darüber, was enthalten sein sollte. Als Reaktion darauf hat die neu gegründete Open Source Alliance (OSA) ihr eigenes Rahmenwerk eingeführt, die Open Weight Definition (OWD), die darauf abzielt, die einzigartigen Herausforderungen der KI-Entwicklung anzugehen.

Die OWD zielt darauf ab, ein Gleichgewicht zwischen geschlossener und Open-Source-KI zu finden, indem sie Standards dafür setzt, was in der KI als „Open Source“ gilt, insbesondere für große Sprachmodelle (LLMs). Sie konzentriert sich auf drei Schlüsselbereiche:

Schlüsselkomponenten der Open Weight Definition (OWD)

1. Zugänglichkeit der Modellgewichte

Die OWD betont die Wichtigkeit, Modellgewichte – die numerischen Werte, die Knoten über KI-Schichten hinweg verbinden – für Entwickler und Forscher zugänglich zu machen. Diese Gewichte, die während des Trainings bestimmt werden, sind entscheidend für das Verständnis und die Verbesserung von KI-Modellen.

2. Informationen zum Datensatz

Obwohl die OWD keinen vollständigen Zugang zu Trainingsdaten vorschreibt, hebt sie die Notwendigkeit hervor, detaillierte Informationen über den Inhalt und die Erhebungsmethoden des Datensatzes bereitzustellen. Diese Transparenz hilft bei der Bewertung der Leistung und möglicher Verzerrungen des Modells.

3. Transparenz der Architektur

Das Rahmenwerk fördert die Offenlegung der Modellarchitektur, die weitere Verbesserungen und Modifikationen durch die Gemeinschaft unterstützen kann.

Amanda Brock, CEO von OpenUK, unterstützt die OWD und sieht sie als Schritt hin zu einer besseren globalen Zusammenarbeit. Sie kritisiert die OSAID der OSI und meint, dass der Fokus der OWD auf die Zerlegung von KI-Komponenten praktischer ist. Brocks Perspektive ist, dass die Definition der Offenheit einzelner Elemente wie Daten, Gewichte und Modelle effektiver ist als eine breite, möglicherweise unpassende Definition.

Die OSA, geleitet von Gründer Sam Johnston, zielt darauf ab, die traditionelle Open Source Definition (OSD) zu erweitern, um KI-spezifische Elemente wie Gewichte einzuschließen, und schlägt ein „Open Source 2.0“ vor. Diese Initiative erfolgt inmitten anhaltender Debatten über die Anwendbarkeit der OSD auf KI, insbesondere in Bezug auf Daten und Modellgewichte.

Als Reaktion auf die OWD wies Stefano Maffulli von der OSI darauf hin, dass Gemeinschaften wie die Linux Foundation bereits ihre eigenen Definitionen von offenen Gewichten entwickelt haben. Zusätzlich betonte Heather Meeker, eine prominente Open-Source-Anwältin, die grundlegenden Unterschiede zwischen Softwarequellcode und neuronalen Netzwerkgewichten (NNWs) und argumentierte, dass die Prinzipien der Open-Source-Softwarelizenzierung aufgrund ihrer Natur als gelernte Wissensspeicher in großen Matrizen nicht leicht auf NNWs anwendbar sind.

Meeker schlug die Open Weights Permissive License als Möglichkeit vor, NNWs unter einem Open-Source-ähnlichen Rahmenwerk zu teilen, und betonte die ursprünglichen Ziele der Open-Source-Freiheit. Sie erkannte jedoch die Herausforderungen an, diese Freiheiten auf NNWs anzuwenden, angesichts ihrer nicht-menschlich-lesbaren und nicht-debugbaren Natur.

Maffulli betonte, dass die Definitionen der OSI, wie die der Linux Foundation, gemeinschaftsgetrieben sind und die kollaborative Natur der Open-Source-Entwicklung widerspiegeln. Er merkte an, dass die OSI verfolgt, wie KI-Praktiker diese Definitionen in der Praxis anwenden.

Trotz dieser Bemühungen äußerte Meeker Zweifel an der Wahrscheinlichkeit, dass eine einzige Definition zum de-facto-Standard wird, und verwies auf den Einfluss von regulatorischen Rahmenbedingungen, Datenschutzbestimmungen und Marktdynamiken.

Die fortlaufende Debatte unterstreicht eine größere Herausforderung: die Definition dessen, was wirklich Open-Source-KI ausmacht. Während es Einigkeit darüber gibt, dass das einfache Labeln eines KI-Modells oder Datensatzes als „Open Source“ nicht ausreicht – wie im Fall von Metas Llama zu sehen ist – bleibt die Gemeinschaft weit von einer einheitlichen Definition entfernt.