Celem projektu było stworzenie realistycznego systemu, w którym przyszli lekarze będą mogli nauczyć się nieinwazyjnego wykonywania amniopunkcji. Cały projekt można podzielić na dwa podsystemy, które muszą ze sobą współpracować. Odnosi się to do aplikacji wirtualnej rzeczywistości (VR) i mechanizmów, które stanowią rzeczywiste stanowisko testowe.
Program został wykonany przy użyciu Unity, zintegrowanego środowiska do tworzenia trójwymiarowych gier komputerowych i innych interaktywnych materiałów. Silnik został również rozszerzony poprzez zastosowanie wtyczek do symulacji miękkiego ciała (soft body) oraz narzędzi do integracji programu z goglami VR.
Ja byłem odpowiedzialny za część związaną z działaniem aplikacji w silniku Unity 3D, więc cały projekt zostanie przedstawiony z tej perspektywy.
Funkcjonalności
Obraz USG: Generowanie odbywa się poprzez przechwycenie projekcji wycinka trójwymiarowego modelu zdefiniowanego przez przetwornik ultradźwiękowy. Tekstura jest następnie filtrowana przez zsynchronizowany system jednostek cieniujących.
Rozszerzona Rzeczywistość: Aplikacja ta nie tylko miała być uruchamiana za pośrednictwem gogli VR, ale także miała dopasować obraz VR do rzeczywistego położenia modelu pacjenta (fantomu). W tym celu wykorzystano różne rozwiązania z zakresu wizji komputerowej i rozpoznawania wzorców na obrazach z kamer.
Łączenie się z Urządzeniami: Aplikacja wykorzystywała niestandardowe urządzenia, takie jak tłok, aby symulować opór skóry i macicy podczas operacji. Aplikacja musiała połączyć te urządzenia, aby mogły wysyłać do siebie dwukierunkowe wiadomości.
System Scenariuszy: Zaimplementowany w aplikacji system scenariuszy ma służyć celom edukacyjnym, tak aby młodzi lekarze wykonujący dany zabieg po raz pierwszy byli instruowani krok po kroku, co mają robić. Dodatkowo system scenariuszy monitoruje, czy osoba wykonująca zabieg nie popełni w jego trakcie jakiegoś błędu, np. ukłucia płodu igłą.
Używanie Własnych Rąk: Aby uzyskać jak największy realizm procedury amniopunkcji, zrezygnowaliśmy z używania kontrolerów i wybraliśmy opcję kontrolowania za pomocą naszych rąk podczas zabiegu.
