Event-Kamera-basierte 3D-Erfassung für Mixed Reality: VIT-Team stellt Paper auf CVPR 2023 vor

Ein Paper von Forschenden der Abteilung „Vision and Imaging Technologies“ (VIT) des Fraunhofer Heinrich-Hertz-Instituts (HHI) wurde beim CVPR 2023 Workshop for Event-based Vision  angenommen. Der weltweit renommierte Workshop behandelt neuartige eventbasierte Kameras und Algorithmen, die im Gegensatz zu herkömmlichen Kameras deutlich energiesparender, lichtempfindlicher und dynamischer sind. Die Arbeit „X-maps: Direct Depth Lookup for Event-based Structured Light Systems ” untersucht die Nutzung eventbasierter Kameras, um Latenzzeiten in Mixed-Reality-Umgebungen zu minimieren und die Nutzungserfahrung zu verbessern.

Eventbasierte Kameras nehmen im Gegensatz zu herkömmlichen Kameras keine kompletten Bilder auf, die dann zeit- und energieaufwendig verarbeitet und gespeichert werden müssen. Stattdessen erzeugen sie kontinuierliche Pixelströme mit einer zeitlichen Auflösung im Mikrosekundenbereich. Diese grundlegend andere Art der Signalerzeugung bringt einige Vorteile mit sich: Eventbasierte Kameras besitzen einen hohen Dynamikbereich, und sehr niedrige Latenzen. Aufgrund dieser Eigenschaften eröffnen sie Möglichkeiten, die mit herkömmlichen Kameras (die in den letzten 60 Jahren die wichtigste Sensortechnologie darstellten) undenkbar sind.

Insbesondere durch die geringen Latenzzeiten sind diese neuen Sensoren für die Anwendung in Mixed-Reality-Technologien (XR) interessant, wo bereits minimale Verzögerungen in der Bildverarbeitung die User Experience stark negativ beeinflussen können.

In ihrem Paper untersuchen die Fraunhofer HHI Forschenden die Kombination einer eventbasierten Kamera mit einem Beamer zur Echtzeit-Tiefenschätzung für Spatial-Augmented Reality-Anwendungen (SAR). SAR wird auch als projektionsbasierte Augmented Reality bezeichnet und beschreibt die Überlagerung von virtuellen Inhalten auf die physische Umgebung durch Projektion. Dadurch können immersive, interaktive und eindrucksvolle Erfahrungen in unterschiedlichen Anwendungsgebieten wie Industrie, Kultur oder Gesundheitswesen geschaffen werden. Dabei sind interaktives Feedback und hohe Frame-Raten essentiell.

In den Untersuchungen der Forschenden wird die 3D-Struktur der projizierten Fläche mithilfe der eventbasierten Kamera gemessen. Dabei wird die Projektion automatisch angepasst. Dieser Prozess passiert so schnell, dass für das menschliche Auge nur ein kohärentes Bild ersichtlich ist und keine zeilenweise Erscheinung des Bildes. Daher ist eine Anpassung der Projektion auch bei dynamischen Szenen mit mobilen Elementen möglich. Diese Technik könnte beispielsweise außerhalb der XR bei Nutzung eines Beamers auf einer krummen Projektionsfläche genutzt werden, um die Projektion in Echtzeit auf die Fläche anzupassen. Zusätzlich werden in dem Paper neue Verfahren zur schnellen Verarbeitung der detektierten Gegenstände und Events sowie zur Kalibrierung nichtlinearen Verhaltens vorgestellt.