Система розпізнавання хірургічних інструментів для Лікарні Святого Пантелеймона

Лабораторія технологій штучного інтелекту ЛНУ дослідила та розробила систему розпізнавання хірургічних інструментів для дослідження сценаріїв роботи з наборами Лікарні Святого Пантелеймона. Ідея проєкту проста за формулюванням, але складна технічно: допомогти швидко ідентифікувати інструмент перед камерою, зв’язати його з цифровою карткою та поступово сформувати надійний каталог для тисяч позицій.

У лікарняній практиці інструменти можуть бути дуже схожими між собою, відрізнятися дрібними деталями, належати до різних наборів і використовуватися у різних процедурах. Саме тому розробка такої системи не зводиться до звичайного пошуку за фотографією. Потрібно враховувати освітлення, положення предмета, фон операційної поверхні, часткове перекриття, стерильні умови роботи та потребу швидко додавати нові зразки без складної технічної підготовки.

Розроблений прототип поєднує камеру, робочу станцію та вебінтерфейс для розпізнавання, навчання і внесення інформації про інструменти. Камера фіксує інструмент на робочій поверхні, після чого система знаходить найближчий збіг у базі та показує картку з ідентифікатором, рівнем схожості, назвою, частинами, номером і назвою набору, призначенням та відділенням.

Система підтримує ручний і автоматичний режими. У ручному режимі користувач може зробити знімок конкретного інструмента і перевірити результат розпізнавання. Автоматичний режим потрібен для сценаріїв, де камера аналізує робочу зону і може допомагати з оперативною ідентифікацією без зайвих дій з боку користувача.

Окремий акцент у дослідженні зроблено на самостійному навчанні системи. Через інтерфейс можна додавати фотографії нових інструментів, заповнювати їхні описи, уточнювати належність до наборів і запускати навчання моделі. Такий підхід важливий для потенційного лікарняного середовища, де каталог не є статичним: інструменти можуть додаватися, замінюватися, групуватися по-іншому або отримувати уточнені службові дані.

У технічній частині проєкт спирається на комп’ютерний зір, побудову візуальних представлень інструментів та пошук найбільш подібних зразків у базі. Для системи критичною є не лише точність моделі, а й якість процесу збирання даних: один і той самий інструмент потрібно бачити під різними кутами, у різних положеннях і в умовах, наближених до реального використання.

Результатом роботи стала прикладна дослідницька система, яка демонструє, як університетська AI-лабораторія може створювати рішення для конкретних потреб медицини. Вона може стати основою для цифрового обліку, швидшого пошуку інформації про інструменти, підготовки наборів і подальших досліджень у сфері медичного комп’ютерного зору.

Проєкт також показує практичну цінність співпраці між університетом і медичними установами: фахівці лікарні формують реальні вимоги та сценарії використання, а лабораторія перетворює їх на технологічний прототип, який можна перевіряти, донавчати і розвивати у контрольованих умовах спільно з фахівцями.