Komprimierte Videodaten wachsen mit einer schnelleren Geschwindigkeit als je zuvor. Bereits heute beträgt der Anteil der Videodaten am gesamten weltweiten Internetverkehr über 80% und über die Hälfte des Verkehrs über mobile Netzwerke. Das zeigt die Notwendigkeit einer noch effizienteren Komprimierung, die über den aktuellen Stand der Technik, den High Efficiency Video Coding Standard (HEVC/H.265), hinausgeht. Als eine Antwort auf diese anspruchsvolle Herausforderung haben die ITU-T Video Coding Expert Group (VCEG) und die ISO/IEC Moving Pictures Expert Group (MPEG) den Versatile Video Coding Standard (VVC/H.266) zusammen entwickelt. VVC bietet eine 50-prozentige Reduzierung der Bitrate gegenüber dem HEVC-Standard, und ist mit seiner ersten Version im Juli 2020 fertiggestellt worden. Im Gegensatz zu vorherigen Standards verfügt VVC bereits in seiner ersten Version über spezielle Kodierwerkzeuge und System-Funktionalitäten für einen breiten Bereich an Anwendungen, wie z.B. adaptives Streaming mit wechselnder Auflösung, 360-Grad immersives Video, Streaming mit extrem geringer Latenz sowie Spieleanwendungen und das Teilen von Bildschirminhalten.

Auf der IBC 2022 zeigt das Fraunhofer HHI die neusten Versionen seiner optimierten VVC Open-Source Software Implementierungen sowie deren Integration in Drittanwendungen. Zu den Implementierungen gehören der schnellste hocheffiziente Open-Source VVC Enkoder (VVenC) als auch der schnellste standard-konforme Open-Source VVC Dekoder (VVdeC). Mittels VVenC demonstriert das Fraunhofer HHI eine deutliche Reduzierung der Bitraten von VVC gegenüber HEVC für eine Reihe von praktischen Anwendungen. Diese umfassen die Integration von VVenC in eine Plattform für Cloud-basiertes adaptives Streaming mit verschiedenen Bildauflösungen als auch die effiziente Kompression von 8K Video mit hohem Dynamikbereich (HDR) durch VVenC. Darüber hinaus präsentiert das Fraunhofer HHI, wie VVdeC das Abspielen von VVC-kodiertem Video auf Desktop und mobilen Geräten sowie in einem Web Browser ermöglicht.

Volumetrisches Video ist in den letzten Jahren immer beliebter geworden und gilt als die aufkommende Schlüsseltechnologie zur Darstellung realer Personen als dynamische 3D-Objekte, wodurch eine völlig immersive Anwendung von Mixed- und Virtual-Reality (MR/VR) mit sechs Freiheitsgraden ermöglicht wird.

Das Fraunhofer HHI präsentiert auf der diesjährigen IBC fortschrittliche Technologien für interaktives volumetrisches Videostreaming. Durch die Interaktivität der Benutzenden mit der volumetrischen Repräsentation einer Person können sowohl der Anwendungsbereich als auch der Grad der Immersion deutlich erhöht werden. Dies erfordert eine Online- und Echtzeit-Manipulation des 3D Modells der Person. Ein gutes Beispiel ist die Kopfdrehung der volumetrischen Repräsentation der aufgenommenen Person entsprechend der Position des Benutzenden im Raum. Das ermöglicht Blickkontakt und erhöht wiederum die immersive Erfahrung, da sich der Benutzende beobachtet fühlt. Um rechnerisch aufwendige Echtzeit-Manipulationen des 3D Modells im Endgerät zu vermeiden, wird die Verarbeitung in der Edge-Cloud durchgeführt. In diesem Zusammenhang hat das Fraunhofer HHI ein Cloud-Rendering-System für interaktives Streaming volumetrischer Videos entwickelt, welches das Problem der hohen Verarbeitungsanforderungen auf der Nutzerinnenseite drastisch reduziert. Das Rendern einer komplexen Szene mit interaktiven Objekten wird in der Cloud durchgeführt und schließlich als einfaches 2D-Video an den Benutzenden gesendet und in eine Mixed-Reality Szene auf dem Handy, Tablett oder in eine Mixed-Reality Brille integriert.