16. Februar 2018
Das Fraunhofer HHI hat nach mehrjähriger Entwicklung im Oktober 2017 ein Volumetrisches Videostudio in Betrieb genommen und nach einer kurzen Testphase den operativen Betrieb gestartet. Seither wurden schon drei professionelle Auftragsproduktionen in diesem Studio durchgeführt und zwei weitere sind bis Ende Februar geplant. Das Studio, das sich in den Räumen des Fraunhofer HHI befindet, dient aber vorrangig als experimentelles Laborsystem, um die Basistechnologie „3D Human Body Reconstruction (3D HBR)“ weiterzuentwickeln – ein innovatives Verfahren, welches die realgetreue, natürlich wirkende und authentische 3D-Darstellung bewegter Personen in virtuellen Welten ermöglicht. Die kommerzielle Verwertung der entwickelten Technologie soll deshalb kurzfristig von der eigens zu diesem Zweck gegründeten VoluCap GmbH (Volumetric Capture Studio Babelsberg GmbH) in Potsdam-Babelsberg übernommen werden.
Die Notwendigkeit, die kommerzielle Produktion in eine Firma zu verlagern, ergibt sich insbesondere aus den rasanten Marktentwicklungen von Virtual Reality (VR) und Augmented Reality (AR) und der daraus resultierenden hohen Nachfrage an volumetrischen Videoinhalten. Durch die Gesellschaftsgründung kann sich das Fraunhofer HHI als Forschungsinstitut wieder verstärkt auf die technisch-wissenschaftliche Weiterentwicklung der HBR-Basistechnologie konzentrieren. Die VoluCap GmbH wurde von den Gesellschaftern ARRI Cine Technik GmbH & Co. KG, Fraunhofer-Gesellschaft, Interlake System GmbH, Studio Babelsberg AG und UFA GmbH gegründet und das dortige Studio wird ab Mitte 2018 als erstes kommerzielles volumetrisches Videostudio auf dem europäischen Festland seinen Betrieb aufnehmen.
Bereits im November 2017 wurde eine erste professionelle Auftragsproduktion im Studio des Fraunhofer HHI durchgeführt. Sie ist Bestandteil des VR-Erlebnisses „Ein ganzes Leben“, das in der Deutschen Kinemathek, dem Museum für Film und Fernsehen in Berlin, mit der Sonderausstellung „Die UFA - Geschichte einer Marke“ Premiere feierte. Weitere Produktionen aus dem volumetrischen Videostudio am Fraunhofer HHI werden zur diesjährigen Berlinale in mehreren Talks und Präsentationen der Öffentlichkeit vorgestellt.
3D Human Body Reconstruction
Die 3D Human Body Reconstruction-Technologie erfasst reale Personen gleichzeitig mit mehreren Kameras und erzeugt aus der Videoinformation sich natürlich bewegende, dynamische 3D-Modelle, die in virtuellen Welten von beliebigen Blickpunkten betrachtet werden können. Das HBR-Aufnahmesystem besteht aus 16 Stereokameras, die 3D-Informationen, ähnlich wie das menschliche Auge, aus unterschiedlichen Standpunkten um die Person herum erfassen. Diese Daten werden dann fusioniert und in eine konsistente, natürliche und dynamische 3D-Repräsentation der Person umgewandelt.
Nachbearbeitungsmodule verarbeiten die Datenstrukturen und -formate so um, dass eine direkte Integration in standardisierte Postproduktionsanwendungen für VR- und AR-Anwendungen möglich ist. Im Gegensatz zur klassischen Animation von virtuellen Charakteren werden dabei kritische Bewegungen wie Gesichtsausdrücke oder zeitlich veränderlicher Faltenwurf bei Kleidung visuell erfasst und mit hoher Detailgenauigkeit rekonstruiert. Auf diese Weise bleiben die natürliche Gestik und Mimik der aufgenommenen Personen erhalten und es wird die Unnatürlichkeit von Avataren vermieden. Der gesamte Verarbeitungsprozess verläuft vollautomatisch und aufgrund des standardisierten Ausgabeformats ist die weitere Nachbearbeitung der dynamischen 3D-Modelle möglich.
Neben der gesamten Verarbeitungskette zur Erzeugung der dynamischen 3D-Modellen kommt noch ein neuartiges, integriertes Mehrkamera- und Lichtsystem für die vollständige 360-Grad-Erfassung von Personen zur Anwendung. Das System ermöglicht eine kontrollierte, frei konfigurierbare und diffuse Beleuchtung der Personen, was sowohl eine nachträgliche synthetische Beleuchtung der dynamischen 3D-Modelle in VR-Welten (Re-Lighting) als auch gezielte dynamische szenische Ausleuchtungen mit speziellen Lichtstimmungen (Lagerfeuer, Blaulicht, etc.) erlaubt.