Was haben Kacheln mit dem Streaming von Virtual Reality zu tun?

Im September 2017 präsentierte das Fraunhofer HHI auf der IBC in Amsterdam ein neues Medienprofil für das Streaming von Virtual Reality-Inhalten, das auf der Verwendung von sogenannten HEVC-Tiles beruht. Derzeit wird der Video-Übertragungsstandard OMAF (Omnidirectional Media Application Format) dahingehend erweitert, dass er dieses Tile-based Streaming mit abdeckt und so die Übertragung von ultrahochauflösenden Inhalten auf mobilen Endgeräten erlaubt.

Beim Betrachten von Virtual Reality-Inhalten sieht der Anwender blickwinkelabhängig (englisch: viewport-dependent) immer nur einen Ausschnitt des Bildmaterials in seiner VR-Brille. Warum also muss das gesamte 360-Grad-Videomaterial stets in voller Auflösung übertragen und decodiert werden, zumal diese herkömmlichen Übertragungsverfahren zu Lasten der Videoqualität im sichtbaren Bereich gehen?

Eine zukunftsweisende Lösung für das Streaming von 360-Grad-VR-Videos ist das vom Fraunhofer HHI implementierte viewport-dependent Streaming auf Basis von HEVC-Tiles (Kacheln). Dabei wird das gesamte 360-Grad-Video in Rechtecke unterteilt, die unabhängig voneinander kodiert werden. Dieses sogenannte Tile-based Streaming sorgt dafür, dass das Bild in Blickrichtung des Benutzers hoch- und außerhalb der Blickrichtung niedrig aufgelöst ist, wodurch eine hohe Auflösung bei geringem Speicherbedarf erzielt wird. Erstmalig entscheidet das Endgerät, welche Kacheln in hoher und welche in niedriger Auflösung heruntergeladen werden. Anstatt also wie bisher eines von mehreren vorbereiteten Videos komplett herunterzuladen, fügt es die notwendigen Kacheln zusammen, um das gewünschte Bild in der richtigen Auflösung zu erzeugen. So muss jede Kachel nur einmal auf dem Server gespeichert werden, was eine hohe Auflösung und niedrige Betriebskosten ermöglicht. Selbst ultrahochauflösende Inhalte können so trotz begrenzter Bandbreite und Decoderkapazitäten auf mobilen Endgeräten übertragen werden.

Durch seine Mitarbeit in der MPEG-Expertengruppe für Videokompression ist das Fraunhofer HHI aktiv daran beteiligt, das viewport-dependent VR-Videostreaming in den aktuellen OMAF-Übertragungsstandard zu integrieren.