KIARA

OP-Berichte dokumentieren bei operativen Eingriffen alle relevanten Informationen. Sie dienen der Therapiesicherheit und Rechenschaftslegung sowie als Leistungsnachweis. Die Erstellung des OP-Berichts ist aufwändig und bindet wertvolle Arbeitszeit – Zeit, die dann nicht zur Behandlung von Patientinnen und Patienten zur Verfügung steht.

Im Projekt KIARA arbeiten Forscherinnen und Forscher an einem System, das automatisch OP-Berichte entwirft. Das KIARA-System soll medizinisches Personal entlasten: Es dokumentiert OP-Aktivitäten und erstellt einen Entwurf des Berichts, der dann nur noch kontrolliert, ergänzt und abgenommen werden muss. Das System funktioniert über in OP-Lampen integrierte Kameras. Deren Bilddaten werden dann mit Hilfe Künstlicher Intelligenz analysiert, um Objekte, Personen, und alle OP-Aktivitäten zu erkennen und zu protokollieren. Das ambitionierte System soll bei Eingriffen im Bauchraum und in der Mund-, Kiefer- und Gesichtschirurgie nutzerzentriert entwickelt und erprobt werden.

KIARA soll durch menschliches Feedback kontinuierlich dazulernen und durch Automatisierung der OP-Berichtserstellung klinische Prozesse zum Nutzen des medizinischen Personals vereinfachen. Das System ist perspektivisch auch für weitere OP-Bereiche anwendbar.

Die wissenschaftlichen und technischen Ziele des Teilvorhabens der HHI-Forscher fokussieren insbesondere auf:

1. Kontaktlose KI-basierte Detektion von Nutzern, Prozessen und Arbeitsmittel
2. Semantische Interpretation und Situationsverstehen
3. Sterile intra-OP-Mensch-KI Interaktion

Zunächst soll die Ebene der kontaktlosen und damit sterilen Sensorik betrachtet werden und Fragen zu Sensormodalitäten, Bildqualität und Kameraperspektive erörtert werden, um die OP-Situation genau und echtzeitfähig zu erfassen.

Auf der folgenden Ebene der lokal auszuführenden KI-Verarbeitung wird die Passung existierender KI-Frameworks zu den zu erfassenden OP-Aktivitäten evaluiert, um auf dieser Basis die zuverlässigsten KI-Methoden für eine Objekterkennung und -verfolgung im OP-Kontext zu entwickeln.

Die extrahierten Informationen zu Art der erkannten Objekte und ihre ortszeitlichen Beziehungen (Position und Trajektorie) werden in Graphen repräsentiert und unter Nutzung von graph neural networks im Kontext des Operationssaals fusioniert, um im nächsten Schritt dokumentationsrelevante Situationen (social signal, situation awareness) abzuleiten.

Im Anwendungskontext können hierzu nur kleine Trainingsdatenmengen generiert werden, deshalb müssen F&E-Arbeiten zur Optimierung der Lernverfahren (z.B. transfer- oder One-Shot-Learning), zur Erzeugung von synthetisierten oder simulierten Daten und deren Qualitätsprüfung, sowie zur Integration von Expertenwissen realisiert werden.

Interaktive Lernverfahren, die Prototypen im latenten Raum nutzen und dem Anwender zeiteffiziente Werkzeuge zur Annotation von Daten und zur Korrektur der KI-Methoden an die Hand geben, sind aktuell Gegenstand der Forschung am HHI und können in diesem Projekt dazu beitragen, der Herausforderung kleiner Trainingsdatenmengen zu begegnen und das System durch menschliches Feedback fortwährend dazulernen zu lassen (continual learning).

Bei der prozessbegleitenden Interaktion zwischen Nutzer:innen und der KI-Assistenz muss geprüft werden, wie intensiv die Interaktion während der OP notwendig und möglich ist und mittels welcher Modalitäten (kontaktlose Sprach-, Körper- und Handgesten, oder kontaktsensitive Geräte-Eingaben) diese effizient, effektiv und zufriedenstellend erfolgen kann. Hierfür werden drei Phasen der prozessbegleitenden Mensch-KI-Interaktion betrachtet: die Prä-OP-Interaktion, Intra-OP-Interaktion und Post-OP-Interaktion. Dieses Teilvorhaben trägt insb. zur Intra-OP-Interaktion bei. Hierbei werden Forschungsfragen zur ablenkungs- und belastungsarmen Interaktionsgestaltung bearbeitet.

Zunächst werden dafür die o.g. berührungslosen Eingabemodalitäten prototypisch für erste Evaluationen implementiert und dann die am besten geeigneten Eingabetechnologien oder eine Mischung aus Sprach- und Körpereingabe im Projektverlauf weiterentwickelt. So kann OP-Personal z.B.: Rückfragen des Systems mit einer „Daumen-Hoch“ Handgeste und/oder einem „OK“ Sprachkommando quittieren. Hierbei sollen Benutzerschnittstellen (UI) erforscht werden, die zu einem sicheren Umgang der Nutzer:innen mit Unsicherheiten der KI während der OP führen. Die in diesem Zusammenhang gesammelten Erfahrungen und Daten werden gesichert und durchgängig zur Qualitätsverbesserung aktueller und zukünftiger KI-Modelle verwendet (Human-centered AI).