IME - AZ EGÉSZSÉGÜGYI VEZETŐK SZAKLAPJA

Tudományos folyóirat

   +36-30/459-9353       ime@nullimeonline.hu

   +36-30/459-9353

   ime@nullimeonline.hu

Endoszkópos kameraképek feldolgozásának lehetőségei a robotsebészetben

  • Cikk címe: Endoszkópos kameraképek feldolgozásának lehetőségei a robotsebészetben
  • Szerzők: Nagyné E. Renáta, Dr. Haidegger Tamás
  • Intézmények: iRobottechnikai Központ Egyetemi Kutató Innovációs és Szolgáltató Központ Óbudai Egyetem, Budapesti Műszaki és Gazdaságtudományi Egyetem
  • Évfolyam: XVII. évfolyam
  • Lapszám: 2018. / 4
  • Hónap: május
  • Oldal: 49-54
  • Terjedelem: 6
  • Rovat: INFOKOMMUNIKÁCIÓ
  • Alrovat: INFOKOMMUNIKÁCIÓ

Absztrakt:

A Minimál Invazív Sebészetben (MIS), különösen a robotsebészetben endoszkópos kameraképek automatizált elemzésével olyan releváns információk nyerhetők, melyek az orvos segítésén keresztül a beteg biztonságát és gyorsabb felépülését szolgálják. A kameraképek elemzése alapján nyert információk felhasználhatóak pl. az eszközök automatizált mozgatására, az orvos figyelmeztetésére különböző kritikus helyzetekben, valamint sebészeti képességek felmérésére, tréningre. A kép alapú döntéstámogatás kognitív terhet vehet le a sebészről, valamint részfeladatok automatizálásán keresztül segíthet a monoton, időigényes feladatok végrehajtásában.

Angol absztrakt:

Endoscopic camera image analysis in Minimally In - vasive Surgery (MIS), especially in surgical robotics can extract relevant information, which can increase pa tient safety and reduce recovery time through helping the surgeons. Image-based decision support can ease the cognitive load on the surgeon, furthermore, surgical subtask automation can help in monotone, time-con suming tasks. Extracted information from camera image analysis can be utilized for automated instrument positioning, giving warnings to the surgeon in critical situ ations, and even for surgical skill assessment and training.

Cikk letöltése




Vissza az előző oldalra

Cikk Író(k) Státusz
Beköszöntő - Prevenció és informatika Prof. Dr. Kozmann György
Tartalom IME Szerkesztőség
Magyarország és a magyar miniszterelnök a Lancet címlapján
A kardiológia elmúlt tíz évének is köszönhetően öt évvel nőtt a várható élettartam Magyar Kardiológusok Társasága
Kásler Miklós a humántárca új vezetője Haiman Éva
Búcsú az Onkológiai Intézettől IME Szerkesztőség
Honnan hová? Kikkel és kikért? Dr. Barcs István
Carpal tunnel decompressiója után kialakult súlyos szeptikus szövődmény diabeteses betegnél Dr. Naumov István, Dr. Szabó Tamás
2018. május 19. az IBD világnapja IME Szerkesztőség
Budapesten tartotta kongresszusát a Nemzetközi Egynapos Sebészeti Társaság IME Szerkesztőség
Országos Skill labor hálózat létrehozása 8 milliárd forintos fejlesztéssel IME Szerkesztőség
Esetszintű kontrolling – naprakész adatokkal Dr. Vácity József
Prof. Dr. Kiss István – nekrológ IME Szerkesztőség
Nemzetközi Fogamzásgátlás és Családtervezés Konferencia Budapesten Boromisza Piroska
2018 legyen a COPD éve – fordítsunk nagyobb figyelmet az idült légzőszervi betegségekre! Dr. Antus Balázs, Dr. Kovács Gábor
Az 5. a Semmelweis Egyetem a THE listáján Semmelweis Egyetem
Hazai csecsemőtáplálási szokások a védőnői statisztikák tükrében 2011-2015 között Molnár Szilvia, Kádár Magdolna Katalin, Szőllősi Gergely József, Dr. Szabó László, Dr. Mák Erzsébet
Fókuszban a gyógyszerészi gondozás - A grandEXPO szakmai konferenciáról jelentjük Boromisza Piroska
A pajzsmirigy-túlműködésben szenvedők csaknem kétharmada nő IME Szerkesztőség
A betegek állapotát is figyelembe vevő relatív hatékonyságvizsgálat (DEA) a hazai mozgásszervi rehabilitációs osztályokon. I. rész Dénes Rita Veronika, Dr. Koltai Tamás, Dr. Dénes Zoltán
Szegedre látogatott az Európai Unió egészségügyért és élelmiszerbiztonságért felelős biztosa Szegedi Tudományegyetem
A XIII. IME Képalkotó Diagnosztikai Továbbképzésről és Konferenciáról jelentjük II. rész Boromisza Piroska
XVIII. Szolgáltatásmenedzsment Konferencia 2018. november. 8. (csütörtök) IME Szerkesztőség
Endoszkópos kameraképek feldolgozásának lehetőségei a robotsebészetben Nagyné E. Renáta, Dr. Haidegger Tamás
Innovatív webfejlesztés a Zuglói Egészségügyi Szolgálatnál Dr. Czinkóczi Sándor, Dr. Révai Tamás

Szerző Intézmény
Szerző: Nagyné E. Renáta Intézmény: iRobottechnikai Központ Egyetemi Kutató Innovációs és Szolgáltató Központ Óbudai Egyetem
Szerző: Dr. Haidegger Tamás Intézmény: Budapesti Műszaki és Gazdaságtudományi Egyetem

[1] Takács Á, Nagy DÁ, Rudas I, Haidegger T: Origins of surgical robotics: From space to the operating room, Acta Polytechnica Hungarica, 13(1), pp. 13-30.
[2] Elek R, Nagy TD, Nagy DÁ, G. Kronreif G, Rudas IJ, Haidegger T: Recent trends in automating robotic surgery, 20th Jubilee IEEE International Conference on Intelligent Engineering Systems (INES), 2016, pp. 27–32. [3] „Da Vinci X received CE mark.” [Online], http://surgrob. blogspot.hu/2017/04/da-vinci-x-received-ce-mark.html, utolsó hozzáférés: 2018.04.26.
[4] „Firefly Fluorescence Imaging” [Online], http://www.roboticsurgery. com.au/product/firefly-fluorescence-imaging/, utolsó hozzáférés: 2018.04.26.
[5] „Intuitive Surgical – da Vinci Surgical System Si.” [Online]. https://www.intuitivesurgical.com/products/davinci_surgical_system/davinci_surgical_system_si/featuresbenefits. php, utolsó hozzáférés: 2018.04.26.
[6] Russ JC: The image processing handbook, CRC press, 2016, pp. 199-279.
[7] Sonka M, Hlavac V, Boyle R: Image processing, analysis, and machine vision, Cengage Learning, 2014. pp. 390-412.
[8] Gonzalez RC, Woods RE: Digital image processing, Upper Saddle River, N.J.: Prentice Hall, 2012, pp. 76- 148.
[9] „Surgical Robot Vision @ University College London.” [Online]. http://www.surgicalvision.cs.ucl.ac.uk/research/ tooltracking/#, utolsó hozzáférés: 2018.04.26.
[10] Kumar S, Narayanan MS, Singhal P,Corso JJ, Krovi V: Surgical tool attributes from monocular video, IEEE International Conference on Robotics and Automation (ICRA), 2014, pp. 4887–4892.
[11] Kraft BM, Jäger C, K. Kraft K, Leibl BJ, Bittner R: The AESOP robot system in laparoscopic surgery: Increased risk or advantage for surgeon and patient? Surgical Endoscopy And Other Interventional Techniques, 18(8), pp. 1216-1223.
[12] „AutoLap received FDA clearance.” [Online]. http://surgrob. blogspot.hu/2016/01/autolap-received-fda-clearance. html, utolsó hozzáférés: 2018.04.26.
[13] „AutoLap Image Gallery | MST Medical Surgery Tech - nologies.” [Online]. https://mst-sys.com/autolap/gallery/, utolsó hozzáférés: 2018.04.26.
[14] Elek R, Nagy TD, Nagy DÁ, Garamvölgyi T, Takács B, Galambos P, Tar JK, Rudas IJ, Haidegger T: Towards surgical subtask automation — Blunt dissection, 21st IEEE International Conference on Intelligent Engineering Systems (INES), 2017, pp. 253-258.
[15] Murali A, Sen S, Kehoe B, Garg A, McFarland S, Patil S, Boyd WD, Lim S, Abbeel P, Goldberg K: Learning by observation for surgical subtasks: Multilateral cutting of 3D viscoelastic and 2D Orthotropic Tissue Phantoms, IEEE International Conference on Robotics and Auto - mation (ICRA), 2015, pp. 1202–1209.
[16] Sen S, Garg A, Gealy DV, McKinley S, Jen Y, Goldberg K: Automating multi-throw multilateral surgical suturing with a mechanical needle guide and sequential convex optimization, proc. of IEEE International Conference on Robotics and Automation (ICRA), 2016, pp. 4178– 4185.
[17] Kehoe B, Kahn G, Mahler J, Kim J, Lee A, Lee A, Nakagawa K, Patil S, Boyd WD, Abbeel P, Goldberg K: Autonomous multilateral debridement with the Raven surgical robot, 2014 IEEE International Conference on Robotics and Automation (ICRA), 2014, pp. 1432– 1439.
[18] Jin A, Yeung S, Jopling J, Krause J, Azagury D, Milstein A, Fei-Fei L: Tool Detection and Operative Skill Assessment in Surgical Videos Using Region-Based Convolutional Neural Networks, arXiv:1802.08774 [cs], Feb. 2018.
[19] „First clinical results with the da Vinci FC.” [Online], http://surgrob.blogspot.hu/2017/11/first-clinical-re sults-with-da-vinci-fc.html, utolsó hozzáférés: 2018. 04.26.

INFOKOMMUNIKÁCIÓ K+F Endoszkópos kameraképek feldolgozásának lehetőségei a robotsebészetben Nagyné E. Renáta, Dr. Haidegger Tamás, Bejczy Antal iRobottechnikai Központ, Egyetemi Kutató, Innovációs és Szolgáltató Központ, Óbudai Egyetem A Minimál Invazív Sebészetben (MIS), különösen a robotsebészetben endoszkópos kameraképek automatizált elemzésével olyan releváns információk nyerhetők, melyek az orvos segítésén keresztül a beteg biztonságát és gyorsabb felépülését szolgálják. A kameraképek elemzése alapján nyert információk felhasználhatóak pl. az eszközök automatizált mozgatására, az orvos figyelmeztetésére különböző kritikus helyzetekben, valamint sebészeti képességek felmérésére, tréningre. A kép alapú döntéstámogatás kognitív terhet vehet le a sebészről, valamint részfeladatok automatizálásán keresztül segíthet a monoton, időigényes feladatok végrehajtásában. Endoscopic camera image analysis in Minimally Invasive Surgery (MIS), especially in surgical robotics can extract relevant information, which can increase patient safety and reduce recovery time through helping the surgeons. Image-based decision support can ease the cognitive load on the surgeon, furthermore, surgical subtask automation can help in monotone, time-consuming tasks. Extracted information from camera image analysis can be utilized for automated instrument positioning, giving warnings to the surgeon in critical situations, and even for surgical skill assessment and training. lehet [1]. Az egyik irány a teleoperáció, mely során a sebész távolról irányítja a műtétet végző robotkarokat. A da Vinci sebészeti rendszer a világon legelterjedtebb Robot támogatott MIS (Robot Assisted MIS – RAMIS) távoperációs robot (ld. 1. ábra). A da Vinci robotrendszer mester (master) oldalán a sebész által végrehajtott mozdulatok a szolga (slave) oldalon képeződnek le, tehát a rendszernek nincs autonómiája, kizárólag a sebész mozgását követi le [1,3]. A da Vinci rendszer segítséget nyújt az orvosoknak: • ergonómiájával; • skálázással: a mester oldalon végrehajtott mozdulatok a szolga oldalon átskálázódnak • kézremegés szűréssel; • 3D endoszkópos kameraképpel. A da Vinci robotrendszerből jelenleg több mint 4500 található a világ különböző részein. Ennek egy különleges változata a da Vinci Research Kit (DVRK) a Johns Hopkins University és a Worcester Polytechnic Institute által közösen fejlesztett hardver és szoftver platform, mely teljes hozzáférést (írás és olvasás) nyújt a da Vinci szenzoraihoz és motorjaihoz, ezáltal pl. kinematikai információk olvashatók ki tréning közben a karokból, illetve extra funkciók táplálhatók be a robotba. A DVRK platformból világszerte mindössze 25 létezik, melyek egyike–Magyarországon egyedülálló módon– a Bejczy Antal iRobottechnikai Központban található. BEVEZETÉS A Minimálisan Invazív Sebészeti (MIS) beavatkozások bevezetése a klinikumba kétségkívül az egyik legjelentősebb paradigmaváltás volt a sebészetben a XX. században. A MIS a beteg számára rendkívül kedvező a kisebb bemetszésekből fakadó kisebb szövetroncsolás, így a gyorsabb gyógyulási idő, kisebb fájdalom, rövidebb kórházi tartózkodási idő miatt, a sebész részéről azonban újfajta készségeket, tréninget igényel. A MIS-hez szükségest pontosság és precizitás azonban sokszor nem könnyen elérhető a műtétet végző számára [1]. Robotsebészetben sok esetben jobb eredmény érhető el a humán operátornál; szoftveres és hardveres megoldások segíthetik a sebészt a döntéshozásban (pl. váratlan eseményeknél), növelhetik a beavatkozás biztonságát (pl. vérzés helyének detektálása), valamint a robotsebészeti eszközök lehetővé teszik bizonyos repetitív, illetve kognitív terhelést jelentő részfeladatok automatizálását (varrás, csomózás), továbbá sebészeti képességek objektív felmérését (pl. eszközök trajektóriája) [2]. A robotika számos módon segítheti a sebészeket, a robottal támogatott sebészetnek ezért több megközelítese IME – INTERDISZCIPLINÁRIS MAGYAR EGÉSZSÉGÜGY 1. ábra A da Vinci Xi, 4. generációs sebészeti robotrendszer. Bal oldalon: endoszkóp vezérlés, középen: szolga oldali karok, jobb oldalon: mester konzol. ©2018 Intuitive Surgical, Inc. A teleoperáció mellett egy másik robottal támogatott sebészeti irány a képvezérelt sebészeti robotika (Image-guided surgery – IGS). A teleoperációval szemben IGS esetében a beavatkozás végrehajtásának részéhez vagy egészéhez nem szükséges emberi tevékenység. Az IGS magába XVII. ÉVFOLYAM 4. SZÁM 2018. MÁJUS 49 INFOKOMMUNIKÁCIÓ K+F foglalja a beteg és a sebészeti eszközök valósidejű követését, melyhez 3D kamerákat, elektromágneses követőket és egyéb modalitásokat használ fel [1]. Az IGS során végrehajtott navigációhoz továbbá szükséges a referencia képek regisztrációja a fizikai világhoz. Az IGS egyik tipikus alkalmazási területe a csontfúrás automatizált végrehajtása, mely során a sebész a preoperatív képen kijelöli a fúrás helyét, a robot pedig autonóm módon elvégzi a csontfúrást. CÉLKITŰZÉS A sebészeti robotika fogalmának megközelítése sokféle lehet, azonban a képi információ elemzése a legtöbb alkalmazásban elkerülhetetlen. Robotsebészetben az endoszkópos kamera képe szolgáltatja a legtöbb hasznos információt (ld. 2. ábra), továbbá sok esetben a kamera az egyetlen rendelkezésre álló szenzor. Ebben a cikkben először a robotsebészeti képalkotást tekintjük át, adunk egy rövid bevezetőt a képfeldolgozás általános fogalmairól, majd az endoszkópos kameraképek automatizált elemzésének felhasználásait tekintjük át (beteg biztonságának növelése, sebészeti döntéstámogatás, automatizálás, valamint a sebészeti képességek felmérése). Fontos megemlíteni, hogy a robotsebészetben is gyakran elkerülhetetlen a preoperatív képek felvétele és elemzése különböző képalkotási módszerekkel, azonban ezen alkalmazások részletes bemutatása túlmutat ezen a publikáción, ezért a fókuszt az endoszkópos kameraképek feldolgozására helyeztük. fecskendezik, amely a vér plazmafehérjékhez kötődik. A fluoreszcens anyag lézerfény megvilágítás hatására infravörös közeli fényt emittál. A da Vinci Firefly képalkotás esetében az endoszkópos kamera mellé van építve a fluoreszcens képalkotáshoz szükséges fényforrás, továbbá az endoszkóp képes a fluoreszcenciát észlelni, az orvos válthat a hagyományos kép és a fluoreszcens kép között. A módszer előnye, hogy a fluoreszcencia miatt könnyebben azonosíthatók a vérerek, illetve vérbő struktúrák, tumor (lásd 3. ábra) [4]. Az endoszkópos kamerakép kiegészíthető további orvosi képalkotási módszerekkel, pl. komputertomográfia (CT), mágnesesrezonancia-képalkotás (MRI), melyek képvezérelt sebészetet tesznek lehetővé. Szintén az újabb generációs da Vinci rendszerekben található meg a TilePro rendszer, mely a sztereó endoszkóp képre két további modalitás képét képes kivetíteni (pl. ultrahang és EKG), mely mind az orvos, mind az asszisztensek számára látható [5]. 3. ábra A da Vinci Firefly fluoreszcens képalkotás. ©2018 Intuitive Surgical, Inc. KÉPFELDOLGOZÁS A ROBOTSEBÉSZETBEN 2. ábra A da Vinci sebészeti robotrendszer kamerája által készített kép. ©2018 Intuitive Surgical, Inc. KÉPALKOTÁS A ROBOTSEBÉSZETBEN MIS során az elsődleges képi információt az endoszkópos kamera szolgáltatja, mind kézi laparoszkópos, mind, robotsebészet esetében. A da Vinci sebészeti rendszerben a képalkotást sztereó endoszkóp valósítja meg. A sztereó endoszkóp a két független optikai csatornán keresztül 3D látást tesz lehetővé. Az újabb da Vinci rendszerek esetében elérhető az ún. da Vinci Firefly kamerarendszer, mely képes a hagyományos látható fény spektrumú képalkotáson túl fluoreszcens képalkotásra is. A Firefly fluoreszcens képalkotáshoz szükséges jelölő anyagot (indocianin zöld) a véráramba 50 IME – INTERDISZCIPLINÁRIS MAGYAR EGÉSZSÉGÜGY Az endoszkópos kameraképek preoperatív képekkel való összevetéséhez, a releváns többletinformáció kinyeréséhez a képeket módosítani, átalakítani, feldolgozni kell. Habár mint modalitás, a kamerakép történelmileg régebbi a komputertomográfia, mágnesesrezonancia stb. képeknél, az orvosi környezetben való kamerakép feldolgozás újabb terület. Továbbá sok szempontból bonyolultabb a kameraképek feldolgozása az egyéb modalitások képéhez képest, azonban a digitális képfeldolgozásban léteznek bevett módszerek, melyek orvosi környezetben is felhasználhatók. Az első lépés digitális képek feldolgozása esetén szinte minden esetben a képek előfeldolgozása. Az előfeldolgozás célja, hogy könnyebbé tegye a releváns többletinformáció kinyerését a képből. Képek előfeldolgozása közé tartozik a megvilágítás és fókusz korrekciója, a zajszűrés, színterek konverziója, hisztogram műveletek, kontraszt módosítások stb. Az előkészített képekből a hasznos információ kinyerése ezután többféle módon történhet. Az egyik kulcsprobléma a digitális képfeldolgozásban a szegmentálás. Szegmentálás során a képet alkotóelemeire bontjuk, amelynek célja legtöbbször a keresett objektum (pl. szövet struktúra, sebészeti XVII. ÉVFOLYAM 4. SZÁM 2018. MÁJUS INFOKOMMUNIKÁCIÓ K+F eszköz) elkülönítése a háttértől (későbbi feldolgozás szempontjából jelentéktelen terület). A hasznos információ kinyerése történhet képjellemző kinyeréssel (feature extraction) is. Képjellemzők azok az adatok, amelyek egyedileg leírják az adott objektumot; képjellemzők pl. az élek és ezek tulajdonságai. Ha a képjellemző kinyerést összekapcsoljuk a szegmentálással, akkor ily módon nem kell kezelnünk a szegmentált objektum összes pixelét, csak azok jellemző pontjait. A nyert információkból a képfelismerés is megvalósítható. Képfelismerés gyakran osztályozással valósítható meg, tehát a képjellemzők alapján az objektumhoz osztálycímke rendelhető (pl. 1. osztály: tűfogó, 2. osztály: disszektor). Az osztályozás megvalósítható felügyelt módon, tehát kellő számú előre felcímkézett eset alapján további bemeneten képesek az osztályozók meghatározni az osztálycímkéket, vagy felügyelet nélkül, tehát ismeretlen bemeneten előzetes példák nélkül valamilyen metrika mentén osztályozzák a kapott képjellemzőket [6,7,8]. fát 100, kézzel szegmentált képpel tanították be, mely így osztályozni tudja az előteret (eszköz) és a hátteret. Ezután a 3D modellt illesztették a kapott eredményhez, így megkapták az eszköz pontos pozícióját (4. ábra). 4. ábra Döntési fa alapú sebészeti eszköz detektálása endoszkópos kameraképen [9]. A döntési fát előzetesen betanították képi adatokkal, mely így az új bemeneten képes eszközre és háttérre osztályozni a képet. Az eszköz 3D modelljéhez illesztették a kapott szegmentált képet, ezzel megkapva a pontos pozíciót. Döntéstámogatás BIZTONSÁG NÖVELÉSE, DÖNTÉSTÁMOGATÁS ENDOSZKÓPOS KAMERAKÉPEK ALAPJÁN A biztonság növelése A sebészeti robotikában (is) az elsődleges minden esetben a beteg biztonsága. Endoszkópos kameraképek automatizált elemzésével olyan többletinformáció nyerhető, melyek hozzájárulhatnak a sebészeti beavatkozás sikerességének növeléséhez. A biztonságot növelheti pl. előre feltérképezett érzékeny struktúrák (erek, idegek) detektálása a képen. Képfeldolgozás segítségével detektált objektumok térbeli pozíciója visszacsatolható a robotkarokba, amellyel megvalósítható pl. az eszközök és szövetek ütközéseinek elkerülése. A biztonság növeléséhez szorosan kapcsolódik a sebészeti eszközök követése, hiszen a látómezőből kikerülő eszközök sérüléseket okozhatnak. A sebészeti eszközök kép alapú detektálása több szempontból kihívást jelentő feladat: az eszközök a térben folyamatosan mozognak, viszonylag kevés képjellemzővel bírnak (homogén szín és textúra), illetve anyaguk fém, ami a megvilágítástól változóan csillog. Az eszközök detektálása megvalósítható modell alapon, gépi tanulás alapon, illetve klasszikus objektum detektálás alapon. A modell alapú detektálásra találhatunk példát a University College London Surgical Vision Group munkái között [9]. A modell alapú eszközkövetés alapja egy pontosan meghatározott 3D objektum modell, majd a modell paraméterezése a kapott képi információ alapján. A modell alapú eszközkövetés számítási kapacitása nagy, azonban jellemzően pontos eredményeket biztosít. A UCL által fejlesztett algoritmusoknál az eszközkövetést ún. level-set régió alapú szegmentálásra vezették vissza, mely az él alapú illesztéshez képest ellenállóbb a zajokkal és elmosódásokkal szemben. A régió alapú szegmensek osztályozásához szükséges egy statisztikai modell. Ehhez a kép tulajdonságai közül a színt és a textúrát használták fel, döntési fa segítségével. A döntési IME – INTERDISZCIPLINÁRIS MAGYAR EGÉSZSÉGÜGY A közvetlen biztonság növelésén túl a sebészeti beavatkozások során kritikusak lehetnek a sebész döntései kérdéses helyzetekben. A sebészeti döntéshozás nagyban a tanult helyzetekkel függ össze, tehát a legtöbb esetben a több tapasztalat jobb döntést eredményez. Azonban ha valamely helyzet váratlan, a sebész nem találkozott még a problémával, akkor könnyedén szuboptimális döntést hozhat. Ilyen helyzetekben nagy segítséget nyújthatnak azok a szoftveres megoldások, ahol a szenzoros bemenet alapján többletinformáció nyerhető, ezzel segítve a sebészt a döntéshozatalban. Fontos lehet az endoszkópos kamerakép direkt analízise, a képi információ megértése a döntéshozásban. Kumar és munkatársai a kamerakép elemzésével jelezték a sebésznek, hogy vérzés van-e pillanatnyilag a műtéti területen, illetve hogy a sebészeti eszköz nyitva van-e [10]. A módszernek a döntéstámogatáson túl a videó valósidejű automatizált megértésében, valamint az információ visszacsatolásban van szerepe. Az algoritmus alapja a képjellemző kinyerés, mely képjellemzőket egy osztályozó algoritmus betanítására használták fel. A tanítható osztályozó algoritmusok képesek arra, hogy kellő számú előre felcímkézett eset alapján új bemeneten meghatározzák az osztálycímkéket. Tehát jelen esetben ez azt jelentette, hogy az osztályozó algoritmusnak betápláltak olyan képeket, ahol vérzés volt látható a képen, illetve olyan képeket, ahol nem, és ez alapján új képeken képes megmondani a képjellemzők alapján az osztályozó, van-e vérzés a látómezőben. A módszer erőssége, hogy az eredmény robusztus változó környezet esetében is. SEBÉSZETI AUTOMATIZÁLÁS MIS során a kamerakezelő asszisztens a műtétet végző sebész utasításait követi. A kamerakezelés ilyen megvalósítását azonban befolyásolják az emberi tényezők: az asszisztens keze megremeghet, ébersége változó lehet; továbbá még ha orvos és asszisztens között tökéletes is a kommuni- XVII. ÉVFOLYAM 4. SZÁM 2018. MÁJUS 51 INFOKOMMUNIKÁCIÓ K+F káció, a kamerakezelés sosem lesz tökéletes az esetleges félreértések miatt [2]. Robotizált kamerakezeléssel ezek a problémák kiküszöbölhetőek lehetnek: a kameratartó robotkar mozgása stabil és pontos tud lenni; továbbá a robotizált eszközök használata csökkenti a zsúfoltságot a műtőben. Az első megoldások a hangvezérelt, pedállal, fejmozgással vezérelt endoszkópos robotkarok voltak, melyeket az orvos irányított, azonban ezek az eszközök autonómiával nem rendelkeznek [11]. A kamerakezelés kép alapú automatizálására többféle módszert találhatunk az irodalomban. A legtöbb megoldás a sebészeti eszközök automatizált követését tűzte ki célul, mivel a sérülések elkerülése érdekében a fő cél az, hogy az eszközök mindig a látómezőben maradjanak. Kutatási fázisban van számos automatizált kamerakezelő asszisztens, kereskedelmi forgalomban pedig pl. az AutoLap (Medical Surgery Technologies) rendszer kapható (ld. 5. ábra). Az AutoLap egy olyan automatizált kamerakezelő asszisztens, mely akár teljes mértékben autonóm módon mozgatja a kamerát képi információk alapján. Az AutoLap gyakorlatilag a sebész eszközeit követi, ezáltal kivédhető az, hogy az eszközök kikerüljenek a látómezőből, illetve az eszközkövetésen túl a lehetséges ütközések (eszköz-szövet) esetén figyelmezteti a sebészt [12]. A sebészeti automatizálás gondolata azonban nemcsak a kamerakezelést érinti; magában a sebészeti feladatok végrehajtásában is az orvos segítségére lehetnek az algoritmikus megoldások. Fontos azonban, hogy a jelenlegi kutatási trendek a sebészeti részfeladat automatizálás (“surgical subtask automation”) irányába haladnak. Nem cél tehát jelenleg, hogy komplex sebészeti feladatok legyenek implementálva, mindössze a monoton, repetitív, illetve időigényes részfeladatok automatizálása, melyekből a későbbiekben felépíthetőek lehetnek a komplex feladatok is akár. A sebészeti részfeladatok automatizálása csökkentheti az orvos kognitív terhelését, illetve monoton feladatok automatizálása esetében a sebész nagyobb figyelmet fordíthat a betegspecifikus feladatok végrehajtására [2]. A Bejczy Antal iRobottechnikai Központban megvalósítottuk a tompa preparálás sebészeti részfeladat automatizálá- sát, mely elsődlegesen a kamera képére támaszkodik [14]. Tompa preparálás során a sebész tompa eszközökkel, vágás nélkül szeparál el szövetrétegeket egymástól, ily módon elkerülhetőek az érzékeny struktúrák (pl. erek, idegek) sérülései. A mi megoldásunk alapja a sztereó endoszkópos kameraképen meghatározott ún. preparálási profil, mely lényegében a tompa preparálás végrehajtásának helyét mutatja a szöveten. A preparálás kezdő- és végpont kijelölése után a profil meghatározása a sztereó kamerából nyert mélységinformáción alapszik: a vertikális irányban meghatározott lokális minimumok adják a profil pontjait. Az eredményeket sebészeti fantomon validáltuk. Sebészeti részfeladat automatizálásra további példákat találhatunk az irodalomban: alakzatok kivágásának automatizálása [15], valamint sebvarrás [16], sebtisztítás [17] automatizálása. SEBÉSZETI KÉPESSÉGEK FELMÉRÉSE Napjainkban a sebészek képességeinek felmérése nem teljes körű a klinikumban; a betegek a műtét előtt csak szubjektív módon tájékozódhatnak a sebész képességeiről. Kézi laparoszkópiás műtétek esetében képelemzés nélkül a műtét végrehajtásának minősége objektíven legfeljebb csak az idő mérésével, a vérveszteség becslésével, az eszközök ütközésének számával stb. mérhető, melyek természetesen korrelálnak a sebész képességeivel, azonban teljesen objektív következtetést nem lehet levonni ezekből. Robotsebészeti eszközökkel azonban jóval több minőségi információ áll rendelkezésre: mérhető a robotkarok mozgása (trajektóriája), eszközök orientációja, erőmérő szenzorokkal a fellépő erők (eszköz–eszköz, eszköz–szövet), tárgyak elejtése, a sebész karjainak mozgása, illetve képelemzésen keresztül vizsgálható pl. a kamerakezelés minősége, a teljes munkafolyamat, a beavatkozás folytonossága, a mélység becslésének pontossága stb. A kapott információk természetesen nemcsak képességfelmérésre, hanem sebészeti tréningre is felhasználhatók. Jin és munkatársai a sebészeti képességfelmérést képelemzési problémára vezették vissza, mégpedig a sebészeti eszközök térbeli követésére [18]. A detektálásra neurális 5. ábra Az AutoLap kamerakezelő robotasszisztens (balra) [12]; AutoLap működés közben (jobbra) [13] 52 IME – INTERDISZCIPLINÁRIS MAGYAR EGÉSZSÉGÜGY XVII. ÉVFOLYAM 4. SZÁM 2018. MÁJUS INFOKOMMUNIKÁCIÓ K+F 6. ábra Különböző sebészeti eszközök detektálása és térbeli lokalizálása endoszkópos kameraképen neurális hálózattal [18]. A sebészeti eszközök típusai a képeken különböző színekkel reprezentáltak. Az eszközhasználat mintázata sebészeti beavatkozás során alkalmas orvosi képességek felmérésére. hálózatot használtak fel, amellyel a képen látott eszköz térbeli határait definiálták. A neurális hálózat olyan hardver/ szoftver, melynek célja az agy működési alapját utánozni: nagyszámú feldolgozó egységből (neuron) áll, melyek kapcsolatban állnak egymással (szinapszisok). A neurális hálózatok taníthatók, tehát hasonlóan a fentebb említett osztályozáshoz képesek arra, hogy példaadatok alapján általánosítsanak. A neurális hálózatok napjainkban óriási jelentőséggel bírnak a gépi látás és gépi tanulás területén. A hivatkozott munkában a neurális háló a térbeli határok meghatározásán túl 7 különböző eszköz megkülönböztetésére is képes (6. ábra). A térbeli követés felhasználható a mozgástartomány méréséhez, valamint az eszközhasználat mintázatának felméréséhez, melyek korrelálnak a sebészeti képességekkel. KÖVETKEZTETÉSEK A sebészeti robotika viszonylag új, de rendkívül dinamikusan fejlődő kutatási terület. Sebészeti robotikai eszközökkel növelhető a beavatkozás precizitása, csökkenthető a beteg felépülési ideje. Endoszkópos kameraképek automatizált feldolgozásával olyan információk nyerhetők, mely alapján megvalósítható a sebészeti részfeladat automatizálás, automatizált kamerakezelés, sebészeti döntéstámogatás, sebészeti képességek felmérése. Napjainkban kutatási fázis- ban számos sikeres teszt található meg ezeken a területeken, azonban kereskedelmi forgalomban lévő eszközökben egyelőre nem jellemző az automatizálás, döntéstámogatás. A kutatási eredmények előremutatóak, azonban endoszkópos kameraképek feldolgozása során számos probléma merülhet fel (változó környezet, csillogás stb.). A robotizált orvosi platformok fejlesztése folyamatos, nemrégiben kapott FDA engedélyt a da Vinci FC (Intuitive Surgical, Inc.), mely egy távirányított, 3 mm átmérőjű katéter irányítását teszi lehetővé, mely a kisméretű periférikus hörgők elérésére szolgál bronchoscopia során, azonban teljesen mozdulatlan képes maradni mintavételezés során [19]. Látható tehát, hogy a sebészeti robotika az elmúlt két évtizedben, különösen az elmúlt néhány évben robbanásszerű fejlődésen ment keresztül, ami napjainkban is tart. A következő években várhatóan még nagyobb teret nyerhet magának ez a technika, nemcsak az új fejlesztésű platformok és szoftveres megoldások miatt, hanem a sebészrobotikai szabványok kidolgozása, illetve az etikai kérdések tisztázása miatt is. Köszönetnyilvánítás A kutatást az OTKA PD 116121, az Austrian Center for Medical Innovation and Technology COMET, valamint az Új Nemzeti Kiválóság Program (ÚNKP) pályázatok támogatták. IRODALOMJEGYZÉK [1] Takács Á, Nagy DÁ, Rudas I, Haidegger T: Origins of surgical robotics: From space to the operating room, Acta Polytechnica Hungarica, 13(1), pp. 13-30. [2] Elek R, Nagy TD, Nagy DÁ, G. Kronreif G, Rudas IJ, Haidegger T: Recent trends in automating robotic surgery, 20th Jubilee IEEE International Conference on Intelligent Engineering Systems (INES), 2016, pp. 27–32. IME – INTERDISZCIPLINÁRIS MAGYAR EGÉSZSÉGÜGY [3] „Da Vinci X received CE mark.” [Online], http://surgrob. blogspot.hu/2017/04/da-vinci-x-received-ce-mark.html, utolsó hozzáférés: 2018.04.26. [4] „Firefly Fluorescence Imaging” [Online], http://www.roboticsurgery.com.au/product/firefly-fluorescence-imaging/, utolsó hozzáférés: 2018.04.26. [5] „Intuitive Surgical – da Vinci Surgical System Si.” [Online]. https://www.intuitivesurgical.com/products/davinci_ XVII. ÉVFOLYAM 4. SZÁM 2018. MÁJUS 53 INFOKOMMUNIKÁCIÓ K+F surgical_system/davinci_surgical_system_si/featuresbenefits.php, utolsó hozzáférés: 2018.04.26. [6] Russ JC: The image processing handbook, CRC press, 2016, pp. 199-279. [7] Sonka M, Hlavac V, Boyle R: Image processing, analysis, and machine vision, Cengage Learning, 2014. pp. 390-412. [8] Gonzalez RC, Woods RE: Digital image processing, Upper Saddle River, N.J.: Prentice Hall, 2012, pp. 76148. [9] „Surgical Robot Vision @ University College London.” [Online]. http://www.surgicalvision.cs.ucl.ac.uk/research/ tooltracking/#, utolsó hozzáférés: 2018.04.26. [10] Kumar S, Narayanan MS, Singhal P,Corso JJ, Krovi V: Surgical tool attributes from monocular video, IEEE International Conference on Robotics and Automation (ICRA), 2014, pp. 4887–4892. [11] Kraft BM, Jäger C, K. Kraft K, Leibl BJ, Bittner R: The AESOP robot system in laparoscopic surgery: Increased risk or advantage for surgeon and patient? Surgical Endoscopy And Other Interventional Techniques, 18(8), pp. 1216-1223. [12] „AutoLap received FDA clearance.” [Online]. http://surgrob.blogspot.hu/2016/01/autolap-received-fda-clearance.html, utolsó hozzáférés: 2018.04.26. [13] „AutoLap Image Gallery | MST Medical Surgery Technologies.” [Online]. https://mst-sys.com/autolap/gallery/, utolsó hozzáférés: 2018.04.26. [14] Elek R, Nagy TD, Nagy DÁ, Garamvölgyi T, Takács B, Galambos P, Tar JK, Rudas IJ, Haidegger T: Towards surgical subtask automation — Blunt dissection, 21st IEEE International Conference on Intelligent Engineering Systems (INES), 2017, pp. 253-258. [15] Murali A, Sen S, Kehoe B, Garg A, McFarland S, Patil S, Boyd WD, Lim S, Abbeel P, Goldberg K: Learning by observation for surgical subtasks: Multilateral cutting of 3D viscoelastic and 2D Orthotropic Tissue Phantoms, IEEE International Conference on Robotics and Automation (ICRA), 2015, pp. 1202–1209. [16] Sen S, Garg A, Gealy DV, McKinley S, Jen Y, Goldberg K: Automating multi-throw multilateral surgical suturing with a mechanical needle guide and sequential convex optimization, proc. of IEEE International Conference on Robotics and Automation (ICRA), 2016, pp. 4178– 4185. [17] Kehoe B, Kahn G, Mahler J, Kim J, Lee A, Lee A, Nakagawa K, Patil S, Boyd WD, Abbeel P, Goldberg K: Autonomous multilateral debridement with the Raven surgical robot, 2014 IEEE International Conference on Robotics and Automation (ICRA), 2014, pp. 1432– 1439. [18] Jin A, Yeung S, Jopling J, Krause J, Azagury D, Milstein A, Fei-Fei L: Tool Detection and Operative Skill Assessment in Surgical Videos Using Region-Based Convolutional Neural Networks, arXiv:1802.08774 [cs], Feb. 2018. [19] „First clinical results with the da Vinci FC.” [Online], http://surgrob.blogspot.hu/2017/11/first-clinical-re sults-with-da-vinci-fc.html, utolsó hozzáférés: 2018. 04.26. A SZERZŐK BEMUTATÁSA Nagyné E. Renáta molekuláris bionika mérnöki BSc szakon végzett 2015-ben a Szegedi Tudományegyetem Természettudományi és Informatikai Karán. 2015-ben info-bionika mérnöki MSc szakon folytatta tanulmányait szintén a Szegedi Tudományegyetemen, bio-na- no mérőeszközök és képalkotók szakirányon. MSc. tanulmányai elején ismerkedett meg a sebészeti robotikával, 2015 nyarán csatlakozott a Bejczy Antal iRobottechnikai Központhoz. Jelenleg az Óbudai Egyetem Alkalmazott Informatikai és Alkalmazott Matematikai Doktori Iskola PhD hallgatója, kutatási témája robotsebészeti képfeldolgozás, valamint sebészeti képességek mérése. Dr. Haidegger Tamás docensként dolgozik az Óbudai Egyetemen; az Egyetemi Kutató, Innovációs és Szolgáltató Központ igazgatója. Kutatási projektjei a robotsebészet, űrtávsebészet irányítási problémáin túlmenően az orvosbiológia több területét érintik. Több mint 160 tudományos publikáció szerzője, számos nemzetközi konferencia és egyetem meghívott előadója. Vezető tisztséget tölt be az IEEE RAS robotikai társaságban, az ISO/IEC közös munkacsoportjában új robotikai szabványok kialakításán dolgozik. Egy orvosi kézhigiénia ellenőrzésére szakosodott innovációs spin-off cég, a HandInScan társ-alapítója. Az elmúlt években fejlesztett Semmelweis Szkenner már 25 hazai és nemzetközi innovációs és üzletfejlesztési versenyen részesült elismerésben. Csapatával jelenleg együtt dolgozik a WHO-val és több nemzetközi központtal, hogy hatékonyan megakadályozzák a kórházi fertőzések terjedését, amelyek évente több százezer ember halálát okozzák a fejlett országokban. 54 IME – INTERDISZCIPLINÁRIS MAGYAR EGÉSZSÉGÜGY XVII. ÉVFOLYAM 4. SZÁM 2018. MÁJUS