Digital Twin
Kurzbeschreibung
Digital Twin ist eine interdisziplinäre Recherche zum Planen neurochirurgischer Eingriffe durch hybride Werkzeug. Das menschliche Gehirn ist anatomisch hochkomplex und immer noch wenig verstanden. An der Charité Berlin arbeitet ein interdisziplinäres Team an neuen Visualisierungsmethoden zur Darstellung der funktionalen Zonen des Hirns. Bild-geführte operative Eingriffe sind mittlerweile Standard, doch der Planungsprozess ist überwiegend digital und Bildschirm basiert. Dieses Design-Forschungsprojekt untersucht den Bedarf an physischen Repräsentationen und OP-ähnlichen Werkzeugen im Planungsprozess um die mentalen Modelle von Chirurgen und Chirurgenteams während des Planungsprozesses zu verbessern. Der funktionelle Prototyp kombiniert ein physisches Zeigewerkzeug mit einer Kamera, die eine Darstellung des Schädels erkennt und den medizinischen 3D-Datensatz auf einem Bildschirm überlagert (AR).
Was ist das Thema?
In der Neurochirurgie besteht ein dringender Bedarf, neue Lösungen für die Betrachtung und Interaktion mit 3D-Daten zu finden, da die Möglichkeiten der chirurgischen Praktiken durch die Visualisierung einer Pathologie vor und während der Operation bestimmt werden. Im Rahmen dieser Designforschung werden die Potentiale hybrider Interaktionsformen mit neurochirurgischen Datensätzen zur Planung und Kommunikation einer aufwendigen chirurgischen Intervention untersucht. Vorzugsweise werden räumliche und werkzeugzentrierte Interaktionen untersucht, die es den Chirurgen ermöglichen, ihr Feld lang erlernter und hochprofessioneller motorischer Verhaltensweisen (embodied cognition) zu erschließen. Die sich daraus ergebenden funktionellen Prototypen dienen dazu, eine Form von Versuchsdurchführung in den Planungsprozess einzuführen, bei der Chirurg und Chirurgenteam ein gemeinsames mentales Modell der Pathologien, der Risikobereiche und des chirurgischen Konzepts einzelner Patienten erstellen können.
Warum sieht es so aus?
Das Werkzeug Setup zum planen besteht aus drei Teilen: 1. Ein handgeführter Pointer, 2. Eine Standartisierte Schädelrepräsentation 3. Digitale Materialität. Der Handgeführte Pointer richtet sich von der Griffbreite nach Rahmengrößen für Neurochirurgische Ultraschall Schneidwerkzeuge, an der vorderen spitze ist eine modifizierte Webcam eingelassen. Die Schädelrepräsentation muss als 3D Körper von der Kamera erkannt werden um mit Bilddaten überlagert zu werden. Am funktionalen Prototypen sind dafür so genannte Object Marker auf dem Objekt angebracht. Durch die hohen kontraste kann das Kamara Bild leicht identifiziert werden. Der dritte Punkt ist ein graphisches und computergraphisches Problem und Recherche Feld. In mehreren Itterationen wurde Farbe und digitale Materialität getestet, hier wurde deutlich das Kontextabhängig Materialeigenschaften vergeben werden sollten. Das Werkzeug-Setup für die Planung besteht aus drei Teilen: 1. Einem handgeführten Zeiger, 2. Einer standardisierten Schädeldarstellung, 3. Der digitalen Materialität des Datensatzes. 1. Die Form des handgeführten Zeigers orientiert ich an der Griffbreite gängiger Ultraschall Schneidwerkzeuge der Neurochirurgie. In dem Funktionsprototypen ist an der Spitze eine modifizierte Webcam eingebettet. 2. Die Schädeldarstellung basiert auf einem androgynen generalisierten Menschenschädel. Da der Funktionsprototyp von der Kameras erkannt werden muss, um mit Bilddaten überlagert zu werden, trägt die Repräsentation sogenannte Objektmarker. Das zufällige Muster aus schwarzen Streifen hilft der Kamera, das Objekt zu identifizieren. 3. Die digitale Materialität wurde in Farbe, Textur, Oberfläche und Opazität iteriert, dabei wurde deutlich, dass kontextabhängige Materialeigenschaften im Planungsprozess selbst vergeben werden sollten.
Was ist das Besondere?
Digital Twin war eine enge und fruchtbare Kooperation mit Wissenschaftlern und Medizinern auf Augenhöhe. Design Research und Prototyping werden in diesem Projekt an einem akuten Problem in der Medizin produktiv gemacht. Gegenüber den Maschinen zentrierten Ansätzen von Ingenieuren steht in dieser Recherche der Chirurg und seine professionelle / körperliche Feinmotorische Spezialisierung im Vordergrund der Untersuchungen. Die Recherche übersetzt außerdem Ansätze von neuen Technologien wie AR und Objekterkennung in neue und anwendungsnahe Kontexte.
Was ist neu?
Der Ansatz, AR-Technologien und hybride Werkzeuge zur Stärkung des mentalen Modells des Chirurgen vor dem Eingriff einzusetzen, um visuelle Geräusche durch überlagernde Visualisierungen während der Operation zu reduzieren, wird als möglicher Paradigmenwechsel angesehen und wird weiter erforscht werden.
Link zum Video