Sesam enthüllt das Basis -KI -Modell hinter viraler Virtual Assistant Maya

Sesame, das innovative KI-Unternehmen hinter der auffallend lebensechten Sprachassistentin Maya, hat gerade für Aufsehen gesorgt, indem es das Basismodell veröffentlicht hat, das ihre Fähigkeiten antreibt. Das Modell, genannt CSM-1B, verfügt über eine Größe von 1 Milliarde Parametern, ein Begriff, der die einzelnen Komponenten des Modells bezeichnet. Unter einer Apache 2.0-Lizenz veröffentlicht, ist es für kommerzielle Nutzung mit minimalen Einschränkungen freigegeben, wie auf der KI-Entwicklungsplattform Hugging Face angekündigt.

CSM-1B funktioniert, indem es Text- und Audioeingaben in „RVQ-Audiocodes“ umwandelt. RVQ steht für „residual vector quantization“, eine Methode, die Audio in diskrete Tokens oder Codes umwandelt. Diese Technik wird auch in anderen hochmodernen KI-Audiotechnologien wie Googles SoundStream und Metas Encodec verwendet. Im Kern nutzt CSM-1B ein Modell aus Metas Llama-Familie, kombiniert mit einer Audio-„Decoder“-Komponente. Eine spezialisierte Version von CSM-1B, nach Feinabstimmung, treibt die Stimme von Maya an, laut Sesame.

Das Modell wird auf seinen Hugging Face- und GitHub-Repositories als „Basismodell für die Generierung“ beschrieben, und Sesame betont, dass es darauf ausgelegt ist, eine Vielzahl von Stimmen zu erzeugen, aber nicht für eine spezifische Stimme optimiert wurde. Obwohl es aufgrund von „Datenkontamination“ in seinem Trainingssatz eine gewisse Fähigkeit zur Verarbeitung nicht-englischer Sprachen hat, ist seine Leistung in diesem Bereich wahrscheinlich unterdurchschnittlich. Interessanterweise hat Sesame die Details der Trainingsdaten geheim gehalten, was uns neugierig macht, was in den Aufbau dieses Modells eingeflossen ist.

Ein Aspekt, der Aufmerksamkeit erregt, ist das Fehlen robuster Sicherheitsvorkehrungen. Sesame setzt auf ein Ehrensystem und fordert Nutzer und Entwickler lediglich auf, das Modell nicht ohne Erlaubnis zur Nachbildung von Stimmen, zur Erzeugung irreführender Inhalte wie Fake News oder zur Teilnahme an „schädlichen“ oder „bösartigen“ Aktivitäten zu verwenden. Ich habe die Demo auf Hugging Face persönlich getestet und innerhalb einer Minute meine Stimme geklont. Es war ein Kinderspiel, Sprache zu jedem Thema zu generieren, sogar zu sensiblen Themen wie Wahlen und russischer Propaganda.

Consumer Reports hat kürzlich auf das besorgniserregende Fehlen „maßgeblicher“ Sicherheitsvorkehrungen bei vielen KI-gestützten Stimmklon-Tools hingewiesen, die zu potenziellem Betrug oder Missbrauch führen könnten. Sesame, mitbegründet von Oculus-Mitgründer Brendan Iribe, erregte Ende Februar mit seiner Assistententechnologie Aufmerksamkeit, die fast dem Uncanny Valley entkommt. Sowohl Maya als auch Sesames anderer Assistent, Miles, zeigen realistische menschliche Eigenschaften wie Atmen, Sprechen mit Sprachfehlern und Unterbrechbarkeit mitten im Satz, ähnlich wie OpenAIs Voice Mode.

Finanziell hat Sesame nicht offengelegte Finanzierungen von Schwergewichten wie Andreessen Horowitz, Spark Capital und Matrix Partners gesichert. Über Sprachassistenten hinaus wagt sich das Unternehmen auch an die Prototypentwicklung von KI-Brillen, die für den ganztägigen Gebrauch gedacht sind und mit ihren maßgeschneiderten Modellen ausgestattet sind. Dieser Schritt zeigt Sesames Ambition, die Grenzen der KI-Technologie weiter in unseren Alltag zu integrieren.