Heim
Das LPM1.0-Modell erzeugt aus einem einzigen Bild ein Echtzeit-interaktives digitales Menschenvideo.

Forscher haben offiziell das LPM1.0-Modell vorgestellt, ein Projekt, das darauf abzielt, aus einem einzigen Referenzbild Echtzeit-Videos von Menschen beim Sprechen, Zuhören und Singen zu erzeugen. Der entscheidende Durchbruch liegt in der multimodalen Verarbeitung – durch die Synchronisierung von Text-, Audio- und Bilddaten entstehen dynamische Szenen mit präziser Lippenbewegungsanpassung, fein abgestimmten Gesichtsausdrücken sowie natürlichen emotionalen Übergängen. Das Modell integriert sich direkt in führende Sprach-KI-Plattformen wie ChatGPT und Doubao und wandelt herkömmliche Sprachgespräche in Echtzeit-interaktive Erlebnisse mit visuellen Rückmeldungen um.
Technisch gesehen nutzt LPM1.0 das Verfahren „multi-granulare Identitätsbedingung“, um aus Referenzmaterialien unter Berücksichtigung verschiedener Perspektiven und Ausdrücke detaillierte Merkmale zu extrahieren. Dadurch entfällt die Notwendigkeit, dass das Modell komplexe Elemente wie Zähne, Falten oder Seitenprofile eigenständig erzeugen muss. Dies steigert erheblich die Fähigkeit zur Verarbeitung unterschiedlicher Stile – es ist somit möglich, ohne Neutraining sofort photorealistische Gesichter, Animationen oder 3D-Spielcharaktere zu erstellen. Zudem unterstützt das Modell den Stream-Transfer, wodurch auch bei der Erstellung von Videos mit einer Länge von bis zu 45 Minuten die Systemstabilität gewährleistet bleibt.
Was die Interaktionslogik betrifft, so erkennt LPM1.0 präzise drei Gesprächsphasen: Während des Zuhörens zeigt es reaktive Ausdrücke wie Nicken oder Blickverlagerungen; beim Sprechen steuert es Körperrhythmen und Lippenbewegungen anhand des Audios; in der Inaktivitätsphase erzeugt es auf Grundlage von Textanweisungen natürliche Ruheverhaltensweisen. Die Projektmanagerin Zeng Ailing betonte, dass LPM1.0 nicht nur für Echtzeit-Gespräche geeignet ist, sondern auch zur Offline-Generierung von videos basierend auf Audio dient und somit technische Redundanz für Podcasts sowie Filmproduktionen bietet.
Trotz seines großen Anwendungspotenzials betont das Entwicklerteam, dass LPM1.0 weiterhin ein Forschungsprojekt bleibt, bei dem derzeit keine Pläne bestehen, Code oder Gewichte öffentlich zugänglich zu machen. Die Forscher erkennen einen qualitativen Unterschied zwischen den erzeugten Videos und echten Aufnahmen sowie die inhärenten Risiken von Deepfakes, die nicht ignoriert werden können. Die Bedeutung dieser Studie liegt darin, die zukünftige Entwicklung von KI-Systemen aufzuzeigen – weg von einer einseitigen logischen Interaktion hin zu mehrdimensionalen Interaktionen, die emotionale Reaktionen, Augenkontakt sowie visuelle Darstellung beinhalten.
Verwandter Artikel
Südkorea beginnt mit dem Bau des nationalen KI-Rechenzentrums und investiert 2,5 Billionen Won mit einem Zieljahr von 2028
Der südkoreanische Ableger von EtNews berichtet, dass am 3. August im Solar City-Datenzentrumspark in Sunan, Provinz Jeollanam-do, der Grundstein für das Korea AI Computing Center (KOACC) gelegt wurde. Mit einer Gesamtinvestition von 2,5 Billionen KR
Sechs Tech-Giganten unterstützen die Linux Foundation mit 12,5 Millionen US-Dollar, um das Rauschen bei KI-Schwachstellen zu bekämpfen
Um der Flut von Sicherheitsberichten niedriger Qualität, die durch KI-Automatisierungstools erzeugt werden, zu begegnen, haben sechs große Technologieunternehmen – Anthropic, Amazon (AWS), GitHub, Google, Microsoft und OpenAI – gemeinsam 12,5 Million
Musk erwog, OpenAI an seine Kinder zu übergeben, während Altman aussagte
Diesen Morgen trat OpenAI-CEO Sam Altman vor Gericht, um sich zur Klage von Ex-Mitbegründer Elon Musk zu äußern, die die Unternehmensstruktur der Firma anfechtet.Auf die Frage nach Musks Behauptung, andere Mitbegründer hätten „eine Wohltätigkeitsorg
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)

Forscher haben offiziell das LPM1.0-Modell vorgestellt, ein Projekt, das darauf abzielt, aus einem einzigen Referenzbild Echtzeit-Videos von Menschen beim Sprechen, Zuhören und Singen zu erzeugen. Der entscheidende Durchbruch liegt in der multimodalen Verarbeitung – durch die Synchronisierung von Text-, Audio- und Bilddaten entstehen dynamische Szenen mit präziser Lippenbewegungsanpassung, fein abgestimmten Gesichtsausdrücken sowie natürlichen emotionalen Übergängen. Das Modell integriert sich direkt in führende Sprach-KI-Plattformen wie ChatGPT und Doubao und wandelt herkömmliche Sprachgespräche in Echtzeit-interaktive Erlebnisse mit visuellen Rückmeldungen um.
Technisch gesehen nutzt LPM1.0 das Verfahren „multi-granulare Identitätsbedingung“, um aus Referenzmaterialien unter Berücksichtigung verschiedener Perspektiven und Ausdrücke detaillierte Merkmale zu extrahieren. Dadurch entfällt die Notwendigkeit, dass das Modell komplexe Elemente wie Zähne, Falten oder Seitenprofile eigenständig erzeugen muss. Dies steigert erheblich die Fähigkeit zur Verarbeitung unterschiedlicher Stile – es ist somit möglich, ohne Neutraining sofort photorealistische Gesichter, Animationen oder 3D-Spielcharaktere zu erstellen. Zudem unterstützt das Modell den Stream-Transfer, wodurch auch bei der Erstellung von Videos mit einer Länge von bis zu 45 Minuten die Systemstabilität gewährleistet bleibt.
Was die Interaktionslogik betrifft, so erkennt LPM1.0 präzise drei Gesprächsphasen: Während des Zuhörens zeigt es reaktive Ausdrücke wie Nicken oder Blickverlagerungen; beim Sprechen steuert es Körperrhythmen und Lippenbewegungen anhand des Audios; in der Inaktivitätsphase erzeugt es auf Grundlage von Textanweisungen natürliche Ruheverhaltensweisen. Die Projektmanagerin Zeng Ailing betonte, dass LPM1.0 nicht nur für Echtzeit-Gespräche geeignet ist, sondern auch zur Offline-Generierung von videos basierend auf Audio dient und somit technische Redundanz für Podcasts sowie Filmproduktionen bietet.
Trotz seines großen Anwendungspotenzials betont das Entwicklerteam, dass LPM1.0 weiterhin ein Forschungsprojekt bleibt, bei dem derzeit keine Pläne bestehen, Code oder Gewichte öffentlich zugänglich zu machen. Die Forscher erkennen einen qualitativen Unterschied zwischen den erzeugten Videos und echten Aufnahmen sowie die inhärenten Risiken von Deepfakes, die nicht ignoriert werden können. Die Bedeutung dieser Studie liegt darin, die zukünftige Entwicklung von KI-Systemen aufzuzeigen – weg von einer einseitigen logischen Interaktion hin zu mehrdimensionalen Interaktionen, die emotionale Reaktionen, Augenkontakt sowie visuelle Darstellung beinhalten.
Südkorea beginnt mit dem Bau des nationalen KI-Rechenzentrums und investiert 2,5 Billionen Won mit einem Zieljahr von 2028
Der südkoreanische Ableger von EtNews berichtet, dass am 3. August im Solar City-Datenzentrumspark in Sunan, Provinz Jeollanam-do, der Grundstein für das Korea AI Computing Center (KOACC) gelegt wurde. Mit einer Gesamtinvestition von 2,5 Billionen KR
Sechs Tech-Giganten unterstützen die Linux Foundation mit 12,5 Millionen US-Dollar, um das Rauschen bei KI-Schwachstellen zu bekämpfen
Um der Flut von Sicherheitsberichten niedriger Qualität, die durch KI-Automatisierungstools erzeugt werden, zu begegnen, haben sechs große Technologieunternehmen – Anthropic, Amazon (AWS), GitHub, Google, Microsoft und OpenAI – gemeinsam 12,5 Million
Musk erwog, OpenAI an seine Kinder zu übergeben, während Altman aussagte
Diesen Morgen trat OpenAI-CEO Sam Altman vor Gericht, um sich zur Klage von Ex-Mitbegründer Elon Musk zu äußern, die die Unternehmensstruktur der Firma anfechtet.Auf die Frage nach Musks Behauptung, andere Mitbegründer hätten „eine Wohltätigkeitsorg











