System rozpoznawania narzędzi chirurgicznych dla szpitala St. Panteleimon

Laboratorium Technologii Sztucznej Inteligencji na LNU zbadało i opracowało system rozpoznawania narzędzi chirurgicznych do badania przepływów pracy z zestawami narzędzi w szpitalu St. Panteleimon. Pomysł jest łatwy do sformułowania, ale wymagający technicznie: pomóc zidentyfikować instrument przed kamerą, podłączyć go do karty cyfrowej i stopniowo budować rzetelny katalog dla tysięcy pozycji.

W praktyce szpitalnej instrumenty mogą wyglądać bardzo podobnie, różnić się jedynie drobnymi szczegółami, należeć do różnych zestawów i być stosowane w różnych procedurach. Dlatego taki system to nie tylko wyszukiwanie obrazów. Musi poradzić sobie z oświetleniem, położeniem obiektu, tłem powierzchni roboczej, częściową okluzją, sterylnymi warunkami pracy i koniecznością dodawania nowych próbek bez skomplikowanego przygotowania technicznego.

Opracowany prototyp łączy w sobie kamerę, stację roboczą i interfejs sieciowy do rozpoznawania, szkolenia i wprowadzania danych z przyrządu. Kamera rejestruje instrument na powierzchni roboczej, po czym system znajduje w bazie danych najbliższe dopasowanie i wyświetla kartę z identyfikatorem, oceną podobieństwa, nazwą, częściami, numerem zestawu oraz nazwą zestawu, przeznaczeniem i działem.

System obsługuje zarówno tryb ręczny, jak i automatyczny. W trybie ręcznym użytkownik może uchwycić konkretny instrument i sprawdzić wynik rozpoznania. Tryb automatyczny przeznaczony jest do scenariuszy, w których kamera analizuje obszar roboczy i pomaga w identyfikacji operacyjnej bez dodatkowych działań użytkownika.

Odrębnym obszarem badań jest szkolenie w modelu samoobsługi. Za pośrednictwem interfejsu użytkownicy mogą dodawać zdjęcia nowych instrumentów, uzupełniać opisy, wyjaśniać przynależność do zestawu i rozpoczynać szkolenie modelu. Jest to ważne w przypadku potencjalnego środowiska szpitalnego, w którym katalog nie jest statyczny: można dodawać, wymieniać, przegrupowywać instrumenty lub otrzymywać zaktualizowane dane serwisowe.

Technicznie rzecz biorąc, projekt opiera się na wizji komputerowej, wizualnych reprezentacjach instrumentów i wyszukiwaniu w bazie danych najbardziej podobnych próbek. W przypadku tego systemu dokładność modelu to tylko jedna część wyzwania. Jakość gromadzenia danych jest równie ważna: ten sam instrument należy oglądać pod różnymi kątami, w różnych pozycjach i w warunkach zbliżonych do rzeczywistego użytkowania.

W rezultacie powstał system badań stosowanych, który pokazuje, w jaki sposób uniwersyteckie laboratorium sztucznej inteligencji może tworzyć rozwiązania dla określonych procesów medycznych. Może stać się podstawą do cyfrowej księgowości, szybszego dostępu do informacji o instrumentach, przygotowywania zestawów i dalszych badań w zakresie komputerowego widzenia medycznego.

Projekt pokazuje także praktyczną wartość współpracy uczelni z placówkami medycznymi: specjaliści szpitalni definiują rzeczywiste wymagania i przypadki użycia, a laboratorium przekształca je w prototyp technologiczny, który można wspólnie ze specjalistami testować, przekwalifikowywać i udoskonalać w kontrolowanych warunkach.