Startschuss für VR-Projekt NeuroHum

Das VR-Forschungsprojekt „NeuroHum“ (Neurocognitively-guided modelling of virtual humans for enhanced realism in immersive media) ist Anfang Mai in seine erste Projektphase gestartet. Die Abteilung „Vision and Imaging Technologies“ des Fraunhofer Heinrich-Hertz-Instituts (HHI) erforscht im Projekt zusammen mit den Gruppen „Mind-Body-Emotion“ und „Neural Interactions and Dynamics“ der Abteilung für Neurologie des Max-Planck-Instituts (MPI) für Kognitions- und Neurowissenschaften (Human Cognitive and Brain Sciences) die Wahrnehmung von virtuellen Menschen und führt die Erkenntnisse in die Modellierung und Synthese zurück. Das Projekt hat eine Laufzeit von vier Jahren.

Virtuell dargestellte Menschen sind inzwischen ein wesentlicher Bestandteil zahlreicher Anwendungsbereiche, zum Beispiel von Filmen, Spielen oder Mensch-Maschine-Schnittstellen, die durch Computergrafik (CG) unterstützt werden. Dies gilt nicht nur für die klassische Bildschirmdarstellung, sondern auch für immersive interaktive Umgebungen wie Virtual (VR), Augmented (AR) oder Mixed Reality (MR). Die Erstellung realistischer, glaubhafter und emotiver digitaler Darstellungen von Menschen ist immer noch eine der anspruchsvollsten Aufgaben in der CG, insbesondere für Echtzeit- und interaktive Anwendungsfälle. Die genannten Eigenschaften sind jedoch essentiell für eine Vielzahl von Anwendungen mit sozio-emotionalen Komponenten, wie Trainings oder Therapien, die andere (virtuelle) Menschen oder digitale Begleiter (z. B. für ältere Menschen) einbeziehen.

Heutige Modelle künstlicher Menschen sind entweder handgefertigt oder beruhen auf statistischen Annahmen, die neurokognitive Auswirkungen, die virtuelle Menschen auf die Benutzenden haben, nicht systematisch und objektiv einbeziehen. In jüngster Zeit wurden auch fotorealistische Avatare vorgestellt, die aus Aufnahmen der realen Welt rekonstruiert oder mit neuartigen generativen Deep-Learning-Ansätzen synthetisiert wurden (neuronale Animation, Deep Fakes). Die zentrale Herausforderung bei der Darstellung virtueller Menschen ist die Vermeidung des „Uncanny Valley-Effekts“. Dieses Phänomen beschreibt, dass hochgradig naturalistische virtuelle Menschen, die noch als künstlich zu erkennen sind, unbehagliche Gefühle bei den Betrachtenden erzeugen können.

Ziel des Kooperationsprojektes NeuroHum ist es, den perzeptuellen und emotionalen Realismus virtueller Menschen in immersiven Medien durch neurokognitiv gesteuerte Computergrafik zu verbessern. In einer iterativen Analyse-Synthese-Schleife werden neurokognitive Repräsentationen in naturalistischen Experimenten aus umfassenden Bewertungen des Empfindens, des Nutzerverhaltens und der Physiologie extrahiert, auf technische Parameter abgebildet und in den generativen Prozess für virtuelle Menschen integriert.

Die Gruppen „Computer Vision und Grafik“ und „Interaktive und kognitive Systeme“ der Abteilung VIT des Fraunhofer HHI verfügen über langjährige Erfahrung in der 3D-Videoanalyse und -verarbeitung, der Entwicklung von MR- und VR-Szenarien sowie im Maschinellen Lernen. Die Abteilung stellt eine führende Forschungseinheit in zwei eng mit diesem Projekt verbundenen Bereichen dar: Zum einen das Erfassen, Modellieren und Animieren von Menschen über hybride Darstellungen, die hochwertige Daten aus der realen Welt für den Realismus mit CG-Elementen für die Animation kombinieren. Dafür steht ein komplettes volumetrisches Erfassungsstudio zur Verfügung. Dieses ist in der Lage ist, hochwertige fotorealistische 3D-Modelle von dynamischen Objekten und Personen zu erstellen, die in hybride Darstellungen für animierbare fotorealistische Avatare umgewandelt werden können. Der andere Bereich deckt die Analyse diverser Daten ab, die durch Elektroenzephalografie (EEG) gewonnen werden. EEG ist eine Methode der medizinischen Diagnostik und der neurologischen Forschung zur Messung der summierten elektrischen Aktivität des Gehirns durch Aufzeichnung der Spannungsschwankungen an der Kopfoberfläche. Für das Projekt identifizieren die Forschenden des Fraunhofer HHI psychophysiologische Qualitätsmaße aus EEG-Aufzeichnungen. Weiterhin entwickeln sie robuste maschinelle Lernalgorithmen zur Analyse von EEG-Signalen und zur bildverarbeitenden visuellen Qualitätseinschätzung.

NeuroHum wird im Rahmen des Kooperationsprogramms zwischen der Max-Planck- und der Fraunhofer-Gesellschaft gefördert. Dieses Kooperationsprogramm zielt unter anderem auf den Ausbau der Vernetzung innerhalb des Wissenschaftssystems. Beide Gesellschaften messen der Zusammenarbeit einen besonders hohen Stellenwert bei und setzen auf herausragende Ergebnisse, die sowohl in der wissenschaftlichen Community als auch in den Medien und der Öffentlichkeit Beachtung finden.