INVICTUS
Innovative Volumetric Capture and Editing Tools for Ubiquitous Storytelling
Laufzeit: Oktober 2020 – September 2022
INVICTUS ist gefördert durch das EU Horizon 2020 Forschungsrahmenprogramm, Grant Agreement Nº 952147.
Wegweisende Entwicklungswerkzeuge erweitern die Möglichkeiten zur Erzeugung von Avataren
Die Welt der Animation, die Kunst, leblose Objekte in Bewegung zu versetzen, hat in den rund hundert Jahren seit der Produktion der ersten Animationsfilme einen langen Weg zurückgelegt. Im digitalen Zeitalter sind Avatare allgegenwärtig geworden. Diese numerischen Darstellungen realer menschlicher Formen tauchen in modernen Videospielen auf und werden heute in Spielfilmen sowie in der Unterhaltung mit virtueller Realität und erweiterter Realität verwendet. Angesichts des riesigen Marktes für Avatar-basierte digitale Unterhaltung entwickelt das EU-finanzierte INVICTUS-Projekt digitale Design-Tools auf der Grundlage der volumetrischen Erfassung, mit denen Autoren Avatare und die dazugehörigen Erzähl-Komponenten (Dekore und Layouts) erstellen und bearbeiten können, indem sie die manuelle Arbeit reduzieren, die Entwicklung beschleunigen und Innovation vorantreiben.
Innovation und Vorgehensweise
Das Fraunhofer HHI konzentriert sich auf die Entwicklung schnellerer und effizienterer Technologien für die volumetrische Erfassung, Nachbearbeitungswerkzeuge für volumetrische Videos und die Erzeugung dynamischer 3D-MeshSequenzen aus mehreren Stereovideoströmen. Wir werden uns mit neuartigen zeitlich konsistenten Ansätzen zur Tiefenschätzung und Datenfusion für die 3D-Rekonstruktion befassen. Um eine interaktive Darstellung zu erstellen, die später interaktiv animiert werden kann, werden semantische Metadaten zu den aufgezeichneten Daten hinzugefügt und hybride Methoden zur Synthese von Animationssequenzen entwickelt. Die Kombination von realen 3D-Oberflächendaten mit einfachen CG-Modellen bietet eine räumliche und zeitliche Annotation sowie Möglichkeiten zur Animation der ursprünglichen unstrukturierten Daten unter Beibehaltung eines realistischen Erscheinungsbildes. Aus diesen Daten werden auch zeitliche Abhängigkeiten innerhalb einzelner Bewegungsabläufe für beispielbasierte Animationen gelernt. Wir werden eine Datenbank mit aufgezeichneten 3D-Modellsequenzen für die Echtzeitanimation und Synthese neuer Inhalte erstellen. Völlig neue Animationen können synthetisiert werden, indem die mit Skelett- und Blend-Shape-Animationsdaten angereicherten Mesh-Sequenzen übergangslos mit den Daten aus der Datenbank verbunden werden.
Projekt Konsortium
- Ubisoft Motion Pictures
- Volograms
- Universite de Rennes I
- Fraunhofer HHI
- Interdigital R&D France
Weitere Informationen
