K3VR

Ziele

Ziel des dreijährigen Forschungsprojektes ist die Entwicklung einer innovativen, multisensorischen und künstlicher Intelligenz (KI)-gestützten Virtual-Reality (VR)-Trainingsumgebung, in der die Einsatzkräfte der Polizei explizit deeskalierende Kommunikation trainieren können. Innovativ ist auch die Erfassung unbewusster Körperreaktionen, die über eine KI-gestützte Sensorauswertung nutzbar gemacht werden und einen grundlegend neuen Ansatz der Mensch-Maschine-Interaktion darstellt.

Vorgehen

Im Rahmen des Projektes K3VR entsteht eine virtuelle Trainingsumgebung auf Basis einer künstlichen Intelligenz. Zu Beginn werden zahlreiche Interviews mit Polizeibeamt:innen und der Bevölkerung geführt, um Kommunikationsmuster zu identifizieren, welche die Eskalation einer Situation begünstigen oder dieser entgegenwirken. Parallel beginnt die Entwicklung einer virtuellen Realität (VR), mit deren Hilfe die Wirkweise der identifizierten Kommunikationsmuster unter Laborbedingungen untersucht wird. In der letzten Projektphase werden die VR-Umgebung und die KI-Software durch die kontinuierlich lernende KI weiterentwickelt. Einsatzkräfte können dann virtuell und realitätsnah die Verwendung deeskalierender Kommunikation trainieren.

Innovationen und Perspektiven

Mit Hilfe dieser neuartigen Trainingsmöglichkeit können Polizeibeamt*innen noch besser vorbereitet auf die Bevölkerung zugehen, wenn Situationen durch starke Emotionen wie Angst, Ärger oder Aggression aufgeladen sind. Eine mögliche Eskalation dieser Situationen hängt auch vom kommunikativen Umgang ab – verbal, vor allem aber non-verbal durch Körperhaltung, Mimik oder Verhalten. Die Nutzung von deeskalierender Kommunikation kann sowohl die Sicherheit der Bürger*innen als auch die der Einsatzkräfte erhöhen und schnelle Hilfeleistung sicherstellen. Durch das Forschungsprojekt werden die wissenschaftlichen Grundlagen geschaffen, um auch bereits existierende Schulungen effektiver und effizienter zu gestalten.

Die gewonnenen Daten aus innovativer technologischer sowie sozialwissenschaftlicher Forschung ermöglichen es, eine interaktive künstliche Intelligenz zu trainieren. Diese kann für die Entwicklung neuartiger Schulungsansätze für soziale Interaktionen und Kommunikationstrainings genutzt werden. Innovativ ist die multisensorische Erfassung von teilweise unbewussten Prozessen und deren Auswirkungen wie nonverbale Verständigung durch Mimik, Gestik, Körpersprache oder Stimmlage. Diese können erstmals mittels KI-gestützter Sensorauswertung als Interaktionswerkzeug nutzbar gemacht werden.

Beitrag des Fraunhofer HHI zu K3VR

Im Rahmen dieses Projekts entwickeln die Gruppen Interactive and Cognitive Systems (ICS) und Capture & Display Systems (CDS) gemeinsam ein KI-basiertes System zur Erfassung von affektiven Zuständen und Verhaltensweisen, die das Potenzial haben, eine soziale Konfliktsituation zu eskalieren oder zu deeskalieren. Konkret entwickeln wir Technologien, die 1) die subjektiv wahrgenommenen inneren affektiven Zustände neurophysiologisch bewerten, 2) den Beitrag zur Eskalationsdynamik des offenen Verhaltens, einschließlich Gesten und Mimik, erkennen und 3) in eine interaktive Simulationsumgebung zur Schulung von Sicherheitspersonal integrieren.

Um dieses Ziel zu erreichen, werden wesentliche technische und wissenschaftliche Fragen aus den Bereichen Neurotechnologie, Computervision, maschinelles Lernen, Ergonomie und Softwaretechnik adressiert. 

Bewertung innerer affektiver Zustände. Diese normalerweise verborgenen inneren Erregungszustände können über psychophysiologische Ansätze wie Elektroenzephalographie, Pupillometrie, elektrodermale Aktivität und Elektrokardiographie erfasst werden. Im Rahmen dieses Projekts entwickelt die ICS-Gruppe Echtzeit-Ansätze, die eine ausreichende Signal-Rausch-Verhältnis für mobile Benutzer*innen gewährleisten und eine hohe Synchronizität zwischen Sensoren und angezeigtem Inhalt ermöglichen. Solche Echtzeitanalysen erfordern in der Regel Methoden des maschinellen Lernens, um ein hohes Signal-Rausch-Verhältnis in Echtzeit sicherzustellen.

Erkennung offenen und potenziell eskalativen Verhaltens. Die nonverbale Kommunikation kann auf der Grundlage des Videosignals analysiert werden. Die ICS-Gruppe entwickelt KI-gestützte Erfassungsmethoden aus dem Videostream, die zusammen mit einer automatisierten Interpretation eine Extraktion der Körperhaltung, Gesten und Gesichtsausdrücke der Benutzer in Bezug auf ihre soziale Wirkung und ihren Beitrag zur Eskalationsdynamik der menschlichen Interaktion ermöglichen. 

Erkennung affektiver Inhalte in verbalen Äußerungen. Auf der Grundlage der Extraktion relevanter prosodischer Marker aus dem Audiosignal entwickelt die CDS-Gruppe KI-basierte Methoden für die computergestützte automatische Analyse des Eskalationspotenzials und die Vorhersage der sozialen Auswirkungen verbaler Kommunikation.

Datenfusion und Integration in ein interaktives Storybook. Im Kontext einer Konfliktsituation können die extrahierten objektiven Informationen über den inneren affektiven Zustand, das potenziell eskalierende Verhalten und den affektiven Inhalt in verbalen Äußerungen Marker für eine potenzielle Eskalation oder Deeskalation dieser Situation darstellen. Werden diese Marker in Echtzeit erkannt, ermöglichen sie eine interaktive Navigation durch den Erzählbaum innerhalb des Storybooks, was zu einem individuellen Erlebnis führt, das auf das Lernniveau der Nutzer*innen optimiert ist. Die interaktive Simulationsumgebung wird vom Benutzer durch VR-Brillen erlebt, was ein Höchstmaß an Immersion ermöglicht.

Test des notwendigen Immersionsgrads. Ein weiteres Ziel ist es, den notwendigen Immersionsgrad für die simulierte Trainingsumgebung zu untersuchen. Konkret wird die vollständige VR-Lösung über eine VR-Brille mit einer weniger aufdringlichen, panoramabasierten Lösung in unserem Fraunhofer-HHI-internen TiME Labor verglichen.

Projektpartner

• Akkon Hochschule für Humanwissenschaften (Koordinator) 
• Fraunhofer HHI
• AspektEins GmbH

Assoziierte Partner

• Polizei Berlin 
• Bayerischen Polizei
• Bayerisches Zentrum für besondere Einsatzlagen (BayZBE)

Publikationen

Nierula, B., Lafci, M. T., Prescher, A., Bosse, S. (2024, April 10-12). Responses in oscillatory brain activity and electrodermal activity to interpersonal space intrusion. Neural Traces 2024, Berlin, Germany.