Heim
Apple stellt LiTo-Modell vor, das Einzelbilder in 3D umwandelt und die Beleuchtungsgenauigkeit um 37 % verbessert
Apples KI-Forschungsteam hat kürzlich ein bahnbrechendes Modell zur 3D-Generierung namens LiTo (Surface Light Field Tokenization) vorgestellt. Diese Technologie bewältigt eine zentrale Herausforderung bei der 3D-Rekonstruktion, indem sie aus einem einzigen 2D-Bild vollständige, detailgetreue 3D-Objekte mit realistischer Beleuchtung erzeugt.

Die Innovation von LiTo basiert auf einem neuartigen latenten Raum und einem einheitlichen Rahmenwerk zur 3D-Darstellung:
Effiziente Kodierung: Sie komprimiert komplexe Oberflächen-Lichtfelddaten in kompakte Vektorsätze und erfasst dabei mathematisch die Geometrie des Objekts und dessen Interaktion mit Licht.
Bidirektionale Architektur: Mithilfe einer Encoder-Decoder-Struktur extrahiert der Encoder grundlegende geometrische und optische Merkmale. Der Decoder rekonstruiert diese Daten anschließend und rendert dabei anspruchsvolle visuelle Effekte wie Spiegelungen und Fresnel-Reflexionen präzise.
Leistung: Unübertroffene Konsistenz der Beleuchtung über alle Ansichten hinweg
LiTo wurde auf einem umfassenden 3D-Datensatz mit Tausenden von Objekten trainiert. Zu den wichtigsten experimentellen Ergebnissen gehören:
Beseitigung von Richtungsverzerrungen: LiTo hält sich strikt an das Kamerakoordinatensystem und korrigiert die in anderen Modellen häufig auftretenden Orientierungsfehler.
Modernste Metriken: Bei der Beleuchtungskonsistenz über mehrere Ansichten hinweg übertrifft LiTo das bisher führende Modell TRELLIS um etwa 37 %.
Dieser Fortschritt senkt die Hürde für die Erstellung hochwertiger 3D-Inhalte erheblich. Er verspricht eine überlegene Asset-Generierung für zukünftige Augmented-Reality- (AR) und Spatial-Computing-Plattformen, einschließlich Geräten wie dem Vision Pro.
Verwandter Artikel
Der Bezirk Shangcheng in Hangzhou führt die ersten „goldenen zehn Maßnahmen“ der audiovisuellen Industrie in Zhejiang unter der Schirmherrschaft von AIGC durch und stellt dabei einen Industriefonds in Höhe von 5 Milliarden Yuan bereit.
Am 16. fand die AIGC Audio-Visual Industry Innovation Ecosystem Conference im Bezirk Shangcheng in Hangzhou statt. Während der Veranstaltung kündigte die Provinz ihre erste spezielle Politik für die AIGC-Audio-Visual-Branche an – „Die Goldenen Zehn“.
Das MIIT bittet die Öffentlichkeit um Rückmeldungen zu 121 Branchenstandards, darunter auch das Protokoll zum Kontext von KI-Modellen.
Das chinesische Ministerium für Industrie und Informationstechnologie hat offiziell eine Mitteilung veröffentlicht, in der es die Öffentlichkeit um Rückmeldungen zu 121 Standardisierungsprojekten im Industriebereich bittet, darunter auch die „Anforde
OpenAI arbeitet mit dem US-Verteidigungsministerium zusammen – Die Zahl der Deinstallierungen von ChatGPT steigt um 295 Prozent
Öffentliche Empörung: OpenAI’s Militärpartnerschaft löst eine Welle von Abmeldungen ausKürzlich kündigte der führende KI-Anbieter OpenAI eine enge Partnerschaft mit dem US-Verteidigungsministerium an, bei der seine KI-Modelle in hochgeheime militäri
Empfehlungen zu verwandten Spezialthemen
Kommentare (1)
Apples KI-Forschungsteam hat kürzlich ein bahnbrechendes Modell zur 3D-Generierung namens LiTo (Surface Light Field Tokenization) vorgestellt. Diese Technologie bewältigt eine zentrale Herausforderung bei der 3D-Rekonstruktion, indem sie aus einem einzigen 2D-Bild vollständige, detailgetreue 3D-Objekte mit realistischer Beleuchtung erzeugt.

Die Innovation von LiTo basiert auf einem neuartigen latenten Raum und einem einheitlichen Rahmenwerk zur 3D-Darstellung:
Effiziente Kodierung: Sie komprimiert komplexe Oberflächen-Lichtfelddaten in kompakte Vektorsätze und erfasst dabei mathematisch die Geometrie des Objekts und dessen Interaktion mit Licht.
Bidirektionale Architektur: Mithilfe einer Encoder-Decoder-Struktur extrahiert der Encoder grundlegende geometrische und optische Merkmale. Der Decoder rekonstruiert diese Daten anschließend und rendert dabei anspruchsvolle visuelle Effekte wie Spiegelungen und Fresnel-Reflexionen präzise.
Leistung: Unübertroffene Konsistenz der Beleuchtung über alle Ansichten hinweg
LiTo wurde auf einem umfassenden 3D-Datensatz mit Tausenden von Objekten trainiert. Zu den wichtigsten experimentellen Ergebnissen gehören:
Beseitigung von Richtungsverzerrungen: LiTo hält sich strikt an das Kamerakoordinatensystem und korrigiert die in anderen Modellen häufig auftretenden Orientierungsfehler.
Modernste Metriken: Bei der Beleuchtungskonsistenz über mehrere Ansichten hinweg übertrifft LiTo das bisher führende Modell TRELLIS um etwa 37 %.
Dieser Fortschritt senkt die Hürde für die Erstellung hochwertiger 3D-Inhalte erheblich. Er verspricht eine überlegene Asset-Generierung für zukünftige Augmented-Reality- (AR) und Spatial-Computing-Plattformen, einschließlich Geräten wie dem Vision Pro.
Der Bezirk Shangcheng in Hangzhou führt die ersten „goldenen zehn Maßnahmen“ der audiovisuellen Industrie in Zhejiang unter der Schirmherrschaft von AIGC durch und stellt dabei einen Industriefonds in Höhe von 5 Milliarden Yuan bereit.
Am 16. fand die AIGC Audio-Visual Industry Innovation Ecosystem Conference im Bezirk Shangcheng in Hangzhou statt. Während der Veranstaltung kündigte die Provinz ihre erste spezielle Politik für die AIGC-Audio-Visual-Branche an – „Die Goldenen Zehn“.
Das MIIT bittet die Öffentlichkeit um Rückmeldungen zu 121 Branchenstandards, darunter auch das Protokoll zum Kontext von KI-Modellen.
Das chinesische Ministerium für Industrie und Informationstechnologie hat offiziell eine Mitteilung veröffentlicht, in der es die Öffentlichkeit um Rückmeldungen zu 121 Standardisierungsprojekten im Industriebereich bittet, darunter auch die „Anforde
OpenAI arbeitet mit dem US-Verteidigungsministerium zusammen – Die Zahl der Deinstallierungen von ChatGPT steigt um 295 Prozent
Öffentliche Empörung: OpenAI’s Militärpartnerschaft löst eine Welle von Abmeldungen ausKürzlich kündigte der führende KI-Anbieter OpenAI eine enge Partnerschaft mit dem US-Verteidigungsministerium an, bei der seine KI-Modelle in hochgeheime militäri











