3D Realtime API

API für multimodale Interaktionen

Die Workbench3D ist eine Entwicklungshilfe, die Softwaredesignern das Erstellen von multimedialen und multimodalen Anwendungen unter der Microsoft Visual Studio® .NET Umgebung erleichtert. Sie unterstützt DirectX®-Technologien, Multiviewsysteme, HHI-Videotracker und 3D-Endgeräte.

Umfassendes Werkzeug für 3D-Applikationen mit Mischung von Virtualität und Realität
Mit Blick auf das enorme Potential virtueller Welten werden im HHI geeignete technische Systeme für das Arbeiten in virtuellen Umgebungen entwickelt. Dazu gehören verschiedenste autostereoskopische Displays und videobasierte Eingabesysteme, die Kopf-, Hand- und Blickbewegungen des Benutzers erfassen, Objekte, sowie ihre Lage und Position im Raum erkennen und daraus Eingabedaten für die VR-Umgebung generieren. Aus diesen Daten, den angebotenen Bedienoberflächen aber auch den in den Applikationen aufgebauten VR-Welten und der Applikationslogik generieren spezielle Gesteninterpreter die Inputs z.B. für unsere Kiosksysteme. Mit diesen kann der Anwender multimodal und intuitiv mit den virtuellen Objekten interagieren.

Implementierung

Die Workbench3D besteht aus einer in C# geschriebenen .NET-Library (API) und einer zugehörigen Rumpfanwendung, die die Verwaltung von Treibern und den mit dieser API entwickelten Anwendungen (Plugins) übernimmt. Damit lassen sich für viele Bereiche der Wissenschaft, Industrie, Kultur und Unterhaltung neuartige, interaktive Systeme aufbauen. Es lassen sich besonders leicht Experimentiersysteme und Demonstratoren (z.B. für Messen) entwickeln.
Um eine flexible Anpassung an unterschiedliche Hardwareausstattungen zu gewährleisten, unterstützt die Workbench3D die verteilte Visualisierung auf mehreren Monitoren (Kombination 2D- und 3D-Displays), die Kommunikation zwischen Computern via .NET, räumlichen Sound, Sprachein- und -ausgabe, Benutzerführung mit einem Avatar und das Force-Feedback-Gerät PHANToMTM  der Firma SensAble Inc. Das API kann durch Vererbungsmechanismen von .NET (Namespace) um weitere Technologien erweitert werden.

Design

Das grafische Oberflächendesign wird im 2D-Bereich mit den Werkzeugen von Visual Studio (Designer) realisiert. VR-Umgebungen (3D-GUI) werden mit der Workbench3D durch Szenengraphen beschrieben, die in Echtzeit in beliebigen Fenstern gerendert werden. Elemente wie Kameras, Lichter, Grundkörper, erweiterte interaktive Objekte und externe Modelldaten können dynamisch in dem Graph verwaltet werden, inklusive aller zugehörigen Attribute (z.B. Transformationen, Farbe, Textur). Ein Event- und Animationssystem hilft dem Programmierer bei der Definition neuer Interaktionen. Er kann dem 3D-GUI ein verspieltes oder auch funktionelles Erscheinen geben. Eine Stärke der Workbench3D, gegeben durch die besonderen Eigenschaften der Fraunhofer HHI 3D-Endgeräte (autostereoskopische Displays und 3D-Tracker), sind Anwendungen mit natürlichen Interaktionen. Der Anwender kann dadurch intuitiv mit den virtuellen Elementen interagieren oder in komplexen Datenbeständen (Datenbanken) navigieren.Die Einfachheit, neue Anwendungen für die Workbench3D integrierte 3D-Technologien zu schreiben, lässt dem Designer und Ergonomen mehr Spielraum, benutzerfreundliche, erlebnisorientierte und zukunftweisende Computersysteme zu verwirklichen.

Grafische Inputs

  • Stereobilder (BMP, JPG, u.a.)
  • Stereovideo (AVI, Mpeg2, Mpeg4)
  • Live Video- und Stereovideostreams
  • Komplexe, funktionale 3D-Modelle (x-file)
  • Texture & Tiefenkarte

Systemanforderungen

  • 1 GHz Prozessor
  • 512 MB RAM
  • 3D-Grafikkarte mit DirectX9-Unterstützung
  • Windows XP
  • Microsoft .NET Framework