AR im OP - Hololens 2|
Trotz des technologischen Fortschritts ist die Chirurgie noch immer stark von der Expertise des Chirurgen abhängig. Herkömmliche Navigationssysteme in der Neurochirurgie sind durch ihren erheblichen Platz- und Zeitbedarf eingeschränkt. Durch die Nutzung intuitiver und platzsparender Lösungen durch AR-Technologie könnte dieses Problem potenziell gelöst werden.
Das Ziel dieses Projekts ist die Entwicklung einer modularen Navigationssoftware, die speziell für den Einsatz am Universitätsklinikum Leipzig zugeschnitten ist. Dieser Entwicklungsprozess erfolgt in direkter Zusammenarbeit mit Ärzten und Medizintechnikern, um die Übereinstimmung mit ihren Bedürfnissen und Fachkenntnissen sicherzustellen.
Technologien
- Unity
- C#
- MRTK
- NodeJS
Herausforderungen
Da die Microsoft Hololens 2 eine eher unbeliebte und teure Plattform ist, sind die Ressourcen für die Entwicklung komplexer Software begrenzt. Zusammen mit einer komplizierten Dokumentation und einem ungewöhnlichen Setup führte dies zu einer herausfordernden Entwicklung.
Inhaltlich bestanden die größten Herausforderungen in einer präzisen Verknüpfung zwischen realen Strukturen und virtuellen Objekten, einer Echtzeitverfolgung von Instrumenten sowie einem Master-Follower-Modus, um dasselbe Erlebnis auf mehreren Geräten zu visualisieren. Dies musste umgesetzt werden, während das Design so einfach wie möglich gehalten wurde, damit sich ungeschulte Benutzer auf einer ungewohnten Plattform zurechtfinden können.
Auch die Kommunikation mit dem medizinischen Fachpersonal erwies sich als herausfordernd, aufgrund unterschiedlicher Fachbegriffe und Auffassungen von Komplexität.
Ergebnisse
Der Entwicklungsprozess führte zu einem intuitiven und modularen AR-Navigationssystem für das Universitätsklinikum Leipzig. Das System unterstützt die Lokalisierung realer Strukturen im Körper des Patienten durch einen markenbasierten Registrierungsprozess. Jedes chirurgische Instrument kann in Echtzeit verfolgt werden, indem einfach Marker angebracht und im System eingerichtet werden. Nach dem Import von standardisierten DICOM-Daten, zum Beispiel aus MRT-Scans, kann die Position des Instruments im Körper des Patienten visualisiert werden.
Verschiedene Erweiterungen wie ein räumliches Zeichenmodul zum Zeichnen auf Körperstrukturen können einfach zum System hinzugefügt werden.
Mehrere Präzisionsstudien bestätigten die Machbarkeit der chirurgischen Navigation mit der Hololens 2 und untersuchten die Genauigkeit weiter.
Screenshots
