SAGA

Ziele

Ziel des Forschungsprojekts ist die Bereitstellung eines universell einsetzbaren, prozeduralen Syntheseframeworks für akustische Darstellung in Simulationen sowie NN gestützte, algorithmische Generierung von Syntheseprozeduren auf Basis konkreter Simulationsparameter.

Vorgehen

Die Lösungsansätze für die genannten Ziele sind unter anderem die Erstellung eines Syntheseframeworks mithilfe der Entwicklung von Kern Synthesemodulen, der Implementierung eines Prozedurberfahrens auf Basis der Kern Synthesemodule sowie parametrisierter Beeinflusung der generierten Prozedur.
Weiterhin die Bereitstellung von Schnittstellen für verschiedene Simulationsumgebungen (z.B. Unity3D, Unreal, FMOD, Wwise), Auslagerung der Synthese aus der Simulationsumgebung sowie Anbindung an CUDA.

Bezüglich der NN gestützten Generierung der parametrisierten Prozeduren sollen das Training von Klassifizierungsnetzwerken zur Erstellung der Syntheseprozeduren, Parameteradjustierung bekannter Syntheseverfahren, Klassifizierung verschiedener Klangbestandteile auf Kern Synthesemodule, Erstellung neuer Prozeduren auf Basis von Klangbeispielen sowie das Training eines NN zur simulationsrelevanten Parametrisierung der Syntheseprozedur inklusive einer Analyse der Auswirkung relevanter Parameter anhand von Beispielen und letztlich die Verknüpfung und Exposition der Parameter innerhalb des Syntheseframeworks der Lösungsfindung dienen.

Anwendungen

Die Verwertungsaussichten des Forschungsprohektes liegen in der Implementierung in immersive Inhalte, die im Zusammenhang mit anderen Projekten
entstehen, sowie der Ergänzung des Repertoires an realistisch simulierten Medien.

Die strategischen Potenziale sind einmal die Erschließung neuer Sektoren mit hohem Anspruch auf realistische Klangerzeugung, die Grundlage für die Entwicklung einer vollständigen Klangverarbeitungskette (Synthese Ausbreitung Wiedergabe), sowie die Verringerung des Aufwandes der Vorproduktion für Simulationen.