Naukowcy wykorzystują możliwości mieszanej rzeczywistości i urządzenia Microsoft HoloLens. Program Holomedicine NUHS, bada, w jaki sposób HoloLens mogłyby być stosowane w różnych sytuacjach klinicznych.

Ludzki mózg jest niezwykle złożony i zarazem bardzo delikatny. Usunięcie guza należy do najtrudniejszych zabiegów współczesnej medycyny. Niektóre rosną głęboko wewnątrz istoty szarej, co sprawia, że trudno je dostrzec, a tym bardziej dostać się do nich w trakcie zabiegu. Inne mogą zajmować więcej przestrzeni, co sprawia, że precyzja powinna być jeszcze większa.

Akademicki zespół badawczy z National University Health System w Singapurze bada, w jaki sposób procedury medyczne wspomagane cyfrowo mają szansę w niedalekiej przyszłości zapewnić neurochirurgom ulepszony i rozszerzony widok 3D mózgu pacjenta. Naukowcy wykorzystują przy tym możliwości mieszanej rzeczywistości i urządzenia Microsoft HoloLens. Projekt jest częścią szerszego programu Holomedicine NUHS, który bada, w jaki sposób HoloLens mogłyby być stosowane w różnych sytuacjach klinicznych. Już teraz lekarze w innych krajach są w stanie komunikować się i współpracować z wykorzystaniem tej technologii.

W kwietniu, Health Sciences Authority (HSA) – krajowy regulator m.in. w zakresie zdrowia publicznego, podlegający Ministerstwu Zdrowia rządu Singapuru ,wydał oficjalną zgodę na realizację projektu badawczego i przyznał licencję klasy A oraz certyfikat Singapore Standard SS620 dla oprogramowania opracowanego przez apoQlar, niemiecką firmę specjalizującą się w technologiach zastosowania rzeczywistości mieszanej w medycynie.

Po uzyskaniu zgody władz, zespół NUHS prowadzi obecnie badania mające na celu porównanie potencjału neurochirurgii wspomaganej przez HoloLens z obecną praktyką kliniczną w kilku salach operacyjnych NUHS w Singapurze. Prace nad projektem są nadal w fazie badawczo-rozwojowej i zanim nowa technologia będzie mogła być stosowana jako podstawowe narzędzie w operacjach z udziałem prawdziwych pacjentów, konieczne będzie uzyskanie większej liczby zgód regulacyjnych.

HoloLens działają za pomocą gestów dłoni i poleceń głosowych, umożliwiając chirurgowi oglądanie trójwymiarowych holograficznych obrazów anatomicznych pacjentów. Są one stworzone na podstawie wcześniej wykonanych skanów. Obrazy te są następnie wyświetlane na wizjerze zestawu słuchawkowego, co daje efekt „nakładania ich” na ciało pacjenta w trakcie operacji. Chirurdzy mogą poruszać wirtualnymi obrazami, aby oglądać je pod różnymi kątami. Mogą również używać HoloLens, w celu zapewnienia dostępu do danych pacjenta w trakcie zabiegu. Mają oni również szansę wyświetlać filmy lub dokumenty, aby pomóc w rozwiązywaniu problemów i szukać porady u innych specjalistów.

Na ten moment zespół badawczy z Singapuru chce, aby chirurdzy testowali i oceniali możliwości HoloLens podczas operacji, ale nie polegali na nim jako na podstawowym narzędziu. Zamiast tego, lekarze muszą stosować się do standardowych praktyk i procedur klinicznych. Obecnie chirurdzy podczas operacji odwołują się do obrazów tomografii komputerowej lub rezonansu magnetycznego wyświetlanych na ekranach. Patrząc w górę na ekrany, a następnie w dół na pacjenta, w efekcie mentalnie rekonstruują obraz 2D (skan) na obiekt 3D (głowę pacjenta). Nawet w przypadku nowoczesnych urządzeń do nawigacji śródoperacyjnej nie jest to łatwe zadanie, ponieważ ekran nawigacyjny zawsze znajduje się w pewnej odległości od rzeczywistego pola operacyjnego.

“Musisz patrzeć na ekran. Następnie patrzysz na obiekt i mówisz: myślę, że to jest tutaj” – wyjaśnia profesor nadzwyczajny Ngiam Kee Yuan, który nadzoruje rozwój i wdrażanie programu Holomedicine w NUHS, a także jest dyrektorem ds. Technologii Grupy NUHS. „Celem projektu jest sprawne zastąpienie przez HoloLens podejścia “tam i z powrotem.”

Zamiast tego, trójwymiarowa mapa mózgu – stworzona na podstawie skanów – jest wyświetlana na wizjerze zestawu i nakładana na rzeczywisty widok pacjenta przez chirurga w formie interaktywnego hologramu. Taki precyzyjny, “rozszerzony” widok, umożliwi chirurgowi skuteczne “zajrzenie” do wnętrza głowy pacjenta przez czaszkę i tkankę mózgową. Chirurg może “zobaczyć” guz dokładnie w miejscu, gdzie on się znajduje i mieć jego szczegółowy obraz w miarę postępu operacji.

Projekt ma potencjał, by stać się bardzo precyzyjnym przewodnikiem, który do tej pory był traktowany jak science fiction lub film o superbohaterach.

“Gdyby lekarz miał zdolności Iron Mana, właśnie tego byśmy się po nim spodziewali” – mówi profesor Ngiam.

W warunkach chirurgicznych przy użyciu HoloLens, holograficzny obraz mózgu pacjenta jest cyfrowo blokowany nad jego głową. Wydaje się, że pozostaje on na swoim miejscu pod każdym kątem, nawet jeśli osoba nosząca urządzenie chodzi po sali operacyjnej. W rzeczywistości, wielu chirurgów noszących HoloLens może patrzeć na ten sam obraz w tym samym czasie, a ten powinien być dokładny dla wszystkich, zapewniając potencjał do poprawy pracy zespołowej i koordynacji działań. Dr Gao Yujia, kierownik programu Holomedicine w NUHS, wspomina o natychmiastowym “efekcie wow”, kiedy po raz pierwszy założył zestaw HoloLens.

“Czułem, że jest to urządzenie, umożliwiające zrobienie wielu rzeczy, które chcieliśmy, ale nie byliśmy w stanie, ponieważ po prostu nie mieliśmy możliwości. To potencjalnie zapewnia nam platformę do prowadzenia badań i rozwoju , o czym myślimy od dawna” – mówi.

Dr Gao i prof. Ngiam spodziewają się, że HoloLens może prowadzić do poprawy wyników klinicznych, większego bezpieczeństwa pacjentów i ich szybszego powrotu do zdrowia. Oprócz neurochirurgii, technologia ta może być również stosowana w innych rodzajach chirurgii, takich jak skomplikowane operacje kręgosłupa, wątroby, rekonstrukcje twarzy i wiele innych. Jednakże, ze względu na złożoność niektórych z tych procedur, może minąć kilka lat wymagających serii badań i prac badawczo-rozwojowych, zanim zobaczymy bardziej powszechne zastosowanie technologii mieszanej rzeczywistości na sali operacyjnej.

W ciągu ostatniej dekady dokonano znacznych postępów, aby pomóc lekarzom w poruszaniu się po skomplikowanych organach. Jednak operacje mózgu są nadal niezwykle trudne, a wyniki zależą w dużej mierze od umiejętności chirurga. Używając HoloLens, chirurdzy mogą również korzystać z tzw. “slicer box”, który zapewnia widoki 2D odpowiednich obszarów. Przypomina to patrzenie z wnętrza kwadratowego akwarium na odpowiedni wycinek mózgu po drugiej stronie szyby.

“Funkcja ta daje podgląd wycinków, dzięki czemu podczas operacji można uzyskać bardzo szczegółowy obraz głębokości guza i jego trójwymiarowej lokalizacji. Uważam, że żaden z istniejących systemów naprowadzania nie może się z nim równać” – mówi profesor Ngiam. „Udana operacja mózgu wymaga czegoś więcej niż tylko usunięcia guza. Mózg jest bardzo wrażliwym organem i zminimalizowanie uszkodzeń otaczających go tkanek jest równie ważne. A HoloLens może pomóc również w tym”.

Profesor Ngiam uważa, że gdy HoloLens znajdzie się w powszechnym użyciu, specjaliści z dużym prawdopodobieństwem znajdą dla niego nowe zastosowania. Już teraz tak się stało. Kiedy neurochirurdzy w NUHS zaczęli testować tę technologię, jeden z nich znalazł sposób na zintegrowanie danych z międzynarodowego projektu dotyczącego połączeń mózgowych. “Nie doszłoby do tego, gdyby ta technologia nie była dostępna” – powiedział.

Projekt identyfikuje połączenia między konkretnymi miejscami w mózgu a kontrolowanymi przez nie częściami ciała. Korzystając z tych informacji, neurochirurg może być świadomy, że dany zabieg może na przykład wiązać się z większym ryzykiem sparaliżowania palców lub zaburzeniami mowy. Chirurdzy nie będą jedynymi, którzy będą mogli wypróbować HoloLens. Jest on potencjalnie przydatny również dla pacjentów. Podczas konsultacji przed operacją, pacjent mógłby założyć zestaw i zobaczyć dokładnie, gdzie znajduje się guz i jakie ryzyko wiąże się z operacją.

“Mając więcej informacji i więcej zrozumienia, łatwiej jest im przetworzyć całą sytuację i podjąć świadomą decyzję” – powiedział profesor Ngiam.

HoloLens może także pomóc w komunikacji z rodzinami pacjentów i zaoferować znacznie bardziej szczegółowe zrozumienie wyzwań, przed którymi stoi pacjent, a oni mogą być znacznie lepiej przygotowani do podejmowania niezbędnych decyzji.

“Jest to szczególnie ważne dla zapewnienia optymalnej opieki w kulturze takiej jak singapurska, gdzie krewni odgrywają dużą rolę w procesie podejmowania decyzji dotyczących ich bliskich” – mówi prof. Ngiam.

NUHS ma nadzieję stać się aktywnym deweloperem, aby pomóc w znalezieniu nowych zastosowań dla technologii, która może być udostępniana na całym świecie.

“Będziemy współpracować z naszymi partnerami, aby holomedycyna stała się konfigurowalna, bardziej przyjazna dla użytkownika i możliwa do szerszego zastosowania klinicznego” – podkreślił profesor Ngiam.

https://itreseller.pl/intel-architecture-day-2021-sapphire-rapids/