Sesam enthüllt das Basis -KI -Modell hinter viraler Virtual Assistant Maya

Sesam, die innovative KI -Firma hinter der auffallend lebensechten Sprachassistent Maya, hat gerade Wellen geschlagen, indem er das Basismodell veröffentlicht hat, das ihre Fähigkeiten antreibt. Dieses Modell genannt CSM-1B und verfügt über eine Größe von 1 Milliarde Parametern, ein Begriff, der sich auf die einzelnen Komponenten bezieht, die das Modell ausmachen. Unter einer Apache 2.0 -Lizenz veröffentlicht, ist es für den kommerziellen Gebrauch mit minimalen Einschränkungen geöffnet, wie auf der KI -Entwicklungsplattform angekündigt wird.

CSM-1B fungiert durch Konvertieren von Text- und Audio-Eingaben in "RVQ-Audiocodes". RVQ steht für "Restvektorquantisierung", eine Methode, die Audio in diskrete Token oder Codes umwandelt. Diese Technik wird auch in anderen hochmodernen KI-Audio-Technologien wie Soundstream von Google und META-COCCODEC verwendet. Im Kern nutzt CSM-1B ein Modell aus der Lama-Familie von Meta, kombiniert mit einer Audio-Decoder-Komponente. Eine spezielle Version von CSM-1B nach Feinabstimmung versorgt laut Sesam die Stimme von Maya.

Sesam beschreibt das Modell als "Basisgenerierungsmodell" auf seinen umarmenden Gesichts- und Github -Repositories und stellt fest, dass es für eine Vielzahl von Stimmen entwickelt wurde, aber für keine bestimmte Stimme verfeinert wurde. Während es dank der "Datenverschmutzung" in seinem Trainingssatz eine gewisse Fähigkeit hat, nicht englische Sprachen zu bewältigen, ist die Leistung in diesem Bereich wahrscheinlich unterdurchschnittlich. Interessanterweise hat Sesame die Details der Trainingsdaten unter Verschluss gehalten und uns neugierig auf das Aufbau dieses Modells gelassen.

Ein Aspekt, der die Augenbrauen hochzieht, sind das Fehlen robuster Schutzmaßnahmen. Sesame arbeitet mit einem Ehrensystem und ermutigt einfach Benutzer und Entwickler, das Modell zu vermeiden, um die Stimme eines Menschen ohne Erlaubnis zu replizieren, irreführende Inhalte wie gefälschte Nachrichten zu erzeugen oder an "schädlichen" oder "böswilligen" Aktivitäten teilzunehmen. Ich persönlich testete die Demo auf das umarmende Gesicht und innerhalb einer Minute hatte ich meine Stimme geklont. Es war ein Kinderspiel, Sprache zu jedem Thema zu erzeugen, auch sensible wie die Wahl und die russische Propaganda.

Verbraucherberichte haben kürzlich den Mangel an "aussagekräftigen" Sicherheitsvorkehrungen bei vielen mit KI-betriebenen Sprachkloning-Tools hervorgehoben, die zu potenziellen Betrug oder Missbrauch führen könnten. Sesam, der von Oculus Co-Creator Brendan Iribe mitbegründet wurde, fiel Ende Februar mit seiner Assistant-Technologie, die fast aus dem unheimlichen Tal entkommt. Sowohl Maya als auch Sesames anderer Assistent, Miles, zeigen realistische menschlichähnliche Eigenschaften wie Atemzüge, Gespräche mit Disfluencies und ein interruptierbares Mid-Speech, ähnlich dem OpenA-Sprachmodus.

Finanziell hat Sesam eine nicht genannte Finanzierung aus Schwergewichten wie Andreessen Horowitz, Spark Capital und Matrix Partners gesichert. Über Sprachassistenten hinaus wagt sich das Unternehmen auch in Prototyping-KI-Brillen, die für den ganzen Tag mit ihren benutzerdefinierten Modellen ausgestattet sind. Dieser Schritt zeigt Sesames Ehrgeiz, die Grenzen der AI -Technologie weiter in unser tägliches Leben zu überschreiten.