Erkennungssystem für chirurgische Instrumente für das St. Panteleimon Hospital
Das Labor erforschte und entwickelte ein kamerabasiertes Computer-Vision-System zur Erkennung, Schulung und digitalen Katalogisierung Tausender chirurgischer Instrumente.
Das Artificial Intelligence Technology Laboratory an der LNU erforschte und entwickelte ein Erkennungssystem für chirurgische Instrumente zur Untersuchung von Arbeitsabläufen mit Instrumentensätzen im St. Panteleimon Hospital. Die Idee ist einfach formuliert, aber technisch anspruchsvoll: Helfen Sie dabei, ein Instrument vor einer Kamera zu identifizieren, es mit einer digitalen Karte zu verbinden und nach und nach einen zuverlässigen Katalog für Tausende von Artikeln aufzubauen.
In der Krankenhauspraxis können Instrumente sehr ähnlich aussehen, sich nur in kleinen Details unterscheiden, zu unterschiedlichen Sets gehören und bei unterschiedlichen Eingriffen eingesetzt werden. Deshalb ist ein solches System nicht nur eine Bildersuche. Es muss Beleuchtung, Objektposition, Hintergrund der Arbeitsfläche, teilweise Okklusion, sterile Arbeitsbedingungen und die Notwendigkeit, neue Proben ohne komplexe technische Vorbereitung hinzuzufügen, bewältigen.
Der entwickelte Prototyp kombiniert eine Kamera, eine Workstation und ein Webinterface für Erkennung, Training und Instrumentendateneingabe. Die Kamera erfasst ein Instrument auf der Arbeitsfläche, woraufhin das System die nächstgelegene Übereinstimmung in der Datenbank findet und eine Karte mit einer Kennung, einem Ähnlichkeitswert, einem Namen, Teilen, einer Set-Nummer und einem Set-Namen, Zweck und Abteilung anzeigt.
Das System unterstützt sowohl den manuellen als auch den automatischen Modus. Im manuellen Modus kann ein Benutzer ein bestimmtes Instrument erfassen und das Erkennungsergebnis überprüfen. Der automatische Modus ist für Szenarien gedacht, in denen die Kamera den Arbeitsbereich analysiert und bei der Betriebserkennung ohne zusätzliche Benutzeraktionen hilft.
Ein gesonderter Forschungsschwerpunkt ist das Training von Self-Service-Modellen. Über die Benutzeroberfläche können Benutzer Fotos von neuen Instrumenten hinzufügen, Beschreibungen ausfüllen, die Setzugehörigkeit klären und mit dem Modelltraining beginnen. Dies ist wichtig für eine potenzielle Krankenhausumgebung, in der der Katalog nicht statisch ist: Instrumente können hinzugefügt, ersetzt, neu gruppiert werden oder aktualisierte Servicedaten erhalten.
Technisch basiert das Projekt auf Computer Vision, visuellen Darstellungen von Instrumenten und der Suche nach den ähnlichsten Proben in der Datenbank. Bei diesem System ist die Modellgenauigkeit nur ein Teil der Herausforderung. Ebenso wichtig ist die Qualität der Datenerfassung: Das gleiche Instrument muss aus verschiedenen Blickwinkeln, in verschiedenen Positionen und unter realitätsnahen Bedingungen betrachtet werden.
Das Ergebnis ist ein angewandtes Forschungssystem, das zeigt, wie ein universitäres KI-Labor Lösungen für spezifische medizinische Arbeitsabläufe schaffen kann. Es kann eine Grundlage für die digitale Buchhaltung, einen schnelleren Zugriff auf Instrumenteninformationen, die Vorbereitung von Sets und weitere Forschungen im Bereich medizinische Computer Vision werden.
Das Projekt zeigt auch den praktischen Wert der Zusammenarbeit zwischen Universität und medizinischen Einrichtungen: Krankenhausspezialisten definieren reale Anforderungen und Anwendungsfälle, während das Labor daraus einen technologischen Prototypen macht, der gemeinsam mit Spezialisten unter kontrollierten Bedingungen getestet, umgeschult und verbessert werden kann.
Interesse an einer Zusammenarbeit?
Das Labor interessiert sich für nichtkommerzielle und gesellschaftlich nützliche Projekte, bei denen Webtechnologien, künstliche Intelligenz, Computer Vision, Datenanalyse oder Automatisierung medizinischen, pädagogischen oder öffentlichen Einrichtungen helfen können.