AR im OP - iOS & Apple Vision Pro|
Dieses Projekt knüpft an "AR im OP - Hololens 2" an.
Neben der HoloLens 2 bieten iOS-Geräte und die neu veröffentlichte Apple Vision Pro aufgrund ihrer vielfältigen AR-Funktionen vielversprechende Navigationsmöglichkeiten während Operationen.
Die Apple Vision Pro ist aufgrund ihrer scharfen und präzisen Darstellung von AR-Inhalten besonders interessant, während iOS-Systeme vor allem aufgrund ihrer weiten Verbreitung relevant sind. Ein präzises und intuitives Navigationssystem auf diesen Plattformen könnte ein bahnbrechender Fortschritt in der Medizin sein.
Technologien
- visionOS (Swift)
- iOS (Swift)
- RealityKit
- ARKit
Herausforderungen
Aus funktionaler Perspektive waren die größten Herausforderungen dieselben wie bei der Hololens 2, etwa eine genaue Beziehung zwischen virtuellen Inhalten und realen Objekten. Da die erforderlichen Berechnungen jedoch bereits für die Hololens implementiert waren, konnten dieselben Berechnungen nun verwendet und auf iOS und visionOS portiert werden.
Die Entwicklung auf zwei Betriebssystemen, die ähnlich, aber nicht gleich sind, erforderte eine gute Organisation und eine gut strukturierte Codebasis. Da die Apple Vision in Deutschland noch nicht veröffentlicht war, mussten Entwicklung und Tests größtenteils im verfügbaren Simulator improvisiert werden. Insbesondere die erforderliche umfangreiche Kommunikation zwischen SwiftUI und RealityKit stellte bei der Implementierung eine Herausforderung dar.
Ergebnisse
Das Ergebnis der Entwicklung für iOS ist ein intuitiver und kompakter Prototyp, der chirurgische Navigationsmöglichkeiten erstmals auf gängige Endgeräte bringt und damit unglaubliche neue Anwendungsfälle bietet.
Ein funktionierender Prototyp auf visionOS führt zu vielversprechenden Möglichkeiten in der nahen Zukunft. Mit der Apple Vision gibt es aufgrund modernster Technologie vielfältige Möglichkeiten, die Genauigkeit und Funktionalität des Systems zu verbessern.
Beide Betriebssysteme unterstützen nun dieselben Funktionalitäten wie ihr Pendant auf der Hololens.
Screenshots
