Geri Dön

A comprehensive dataset including force cues for gesture recognition and skills assessment in robotic surgery

Robotik cerrahiide kuvvet ipuçları içeren kapsamlı bir veri seti hareket tanıma ve beceri değerlendirmesi

PDF İndir

  1. Tez No: 613254
  2. Yazar: DENİZ EKİN CANBAY
  3. Danışmanlar: DR. ÖĞR. ÜYESİ NAZIM KEMAL ÜRE, DR. ÖĞR. ÜYESİ FANNY FICUCIELLO
  4. Tez Türü: Yüksek Lisans
  5. Konular: Mekatronik Mühendisliği, Mechatronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2019
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Mekatronik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 61

Özet

Robotik ve bilgisayar teknolojileri, hızla gelişerek hayatımızın diğer alanlarında olduğu gibi sağlık alanında da kendine yer edinmeye başladı. Laparoskopik robotlarla başlayan bu gelişme 2000 yılında da Vinci cerrahi robotlarının tanıtılması ile hız kazandı. Bu robotların temel amacı ilk başlarda uzak mesafelerden ameliyat yapılmasını mümkün kılmak olsa da daha sonraları uzak mesafelerdeki ameliyatlarda robotun iki ucu arasındaki gecikme sürelerinin fazla olması ile beraber daha farklı bir alana yöneldi. Hastaların ameliyat sırasında ve sonrasındaki yaşam kalitelerini artırmak, en az zarar ve en küçük yara izleri ile daha önce yapılması mümkün olmayan ameliyatları gerçekleştirmek bunlardan sadece bir kaçıdır. Temel olarak hasta tarafı ve operatör tarafı olarak isimlendirebileceğimiz iki ana gövdeden oluşan robot, operatör tarafından yani cerrahtan aldığı komutları hasta tarafında uygulamaktadır. Hasta tarafında çok serbestlik dereceli robot kolları ve bu kolların ucuna kolayca takılıp çıkarılabilen aletler, operatör tarafında ise yine çok serbestlik dereceli ve cerrahın el hareketlerini takip ve kayıt etmeye yarayan robotik uzuvlar bulunmaktadır. Da Vinci sistemi cerrahın el hareketlerini gerçek zamanlı olarak hasta tarafına iletir, hasta tarafındaki kolların ucuna bağlı aletler bükülerek ve dönerek cerrahın el hareketleriyle verdiği komutları yüksek hassasiyette izler. Küçük bilekli aletler bir insan eli gibi hareket eder, ancak daha geniş bir hareket aralığına sahiptir. Da Vinci görüş sistemi ayrıca cerrahi alanın yüksek oranda büyütülmüş, üç boyutlu yüksek çözünürlüklü görüntü sağlayarak cerrahın derinlik algısıyla ameliyat yapmasına olanak tanır. Kullanılan araçların boyutu cerrahların bir veya birkaç küçük kesikle çalışmasını mümkün kılar. Da Vinci robotunda sistemin operatör ve hasta kısımlarının birbiri ile haberleşmesini sağlayan bir adet bilgisayar bulunur. Bu bilgisayarda şu anda ROS, yani robot işletim sistemi yüklüdür ve cerrahın el hareketlerinin enkoderler ile ölçülüp ters kinematik ve kinematik denklemleri çözerek hasta tarafındaki motorların komutlarını, aynı şekilde hasta tarafındaki robot kollarının da hareketlerini cerrahın ellerine yansıtarak bir bakıma dokunma hissini de sağlamaya çalışır. Bununla beraber hasta tarafındaki robota bağlı bulunan kameradaki görüntü de bilgisayara aktarılıp işlendikten sonra cerrahın ekranına yansıtılır. Bu şekilde bütün verilerin bu bilgisayardan geçiyor olması aynı zamanda bu verileri operasyon sırasında kaydetmeye de olanak sağlamakta. Her cerrahi müdahelede olduğu gibi, robotlarla minimal invaziv ameliyatlar yapmak için de kalifiye cerrahlara olan ihtiyaç çok açıktır. Kullanılan teknikler yaklaşık olarak aynı olsa da, ameliyatı bir cihaz kullanarak yapmak için o cihazı kullanım becerisi geliştirmek gerektiği açıktır. Cerrahların bu robotları kullanım becerisi geliştirmesi pratik yapmalarına ve bu pratiklerin nesnel olarak değerlendirilmesine bağlıdır. Bu değerlendirme genel olarak cihazı kullanan kişinin robota ne kadar hakim olduğunu belirlemeye yönelik olarak tasarlanmıştır. Değerlendirme aşaması cerrahi dikiş dikme, düğüm atma vb. gibi bazı temel tekniklerin robot kullanılarak yapılması ve bu sıradaki görüntülerin kayıtlarının daha uzman cerrahlar tarafından izlenerek değerlendirilmesinden ibarettir. Değerlendiren kişiden kişiye farklılık göstereceği gibi sadece görüntüye bakarak ok hassas bir değerlendirme yapılması pek mümkün değildir. Bunun yanında daha uzman cerrahların kısıtlı ve değerli vakitlerinin bu iş için harcanması pek de istenen bir durum değildir. Bu sebeplerle bu işlemi daha hızlı, objektif ve daha iyi yapacak sistemler geliştirilmeye çalışılmıştır. Robota bağlı olarak bilgisayarın kaydettiği kinematik ve görüntü veriler ile derecelendirme sistemleri ilk başlarda istatistiksel yöntemlerle yapılmaya çalışılsa da, veri setinin azlığı ve el hareketlerinin görece karmaşık olması pek de istenilen sonuçları vermemiştir. Cerrahların dikiş dikme, iğne geçirme ve düğüm atma tekniklerini kullandığı bir veri setinin 2014 yılında John Hopkins Üniversitesi tarafından yayınlanmasıyla beraber bu konudaki çalışmalar hız kazanmıştır. Bu veri setinde farklı beceri seviyelerine sahip 7 cerrahın 5 kere her 3 tekniği de tekrarlaması sırasında kayıt edilen kinematik ve kamera görüntüleri bulunmaktadır. Denetimli öğrenme metodlarında kullanılabilmesı için her kayıt için sınıflandırmalar da bu konuda uzman cerrahlar tarafından görüntüler izlenerek oluşturulmuştur. Veri setine dahil edilen bu sınıflandırma sisteminde sadece acemi, orta ve uzman olmak üzere 3 beceri seviyesi ve 15 mimik kullanılmıştır. Makine öğrenimi tekniklerinde gelişmelerle beraber HMM, GMM gibi temel metodlar bu veri setinde uygulanmıştır. Çok iyi sonuçlar alınamasa da bu konudaki çalışmaların başlaması açısından önemli bir adımdır ve daha sonrasında grafik işlemcilerinin güçlenmesiyle başlayan derin öğrenme çağında, makine öğrenimi metodlarına göre çok daha iyi sonuçlar elde edilmiştir. Fakat elde edilen sonuçlar, veri setindeki sınıflandırma sisteminin sadece 3 kademe içermesi sebebiyle 3 kademede sınırlı kalmak durumundadır. Ayrıca aynı puanı alan 2 farklı cerrahın farklı hareketleri farklı beceri seviyelerinde sergilemiş, fakat ortalama olarak aynı sınıfa düşmüş olası olasılıklar arasındadır. Bu etiketleme sistemi ile 3 kademenin dışında bir sınıflandırma yapmak mümkün olmadığı için eğitilen cerrahların hangi mimikleri ne kadar iyi yaptığının karşılaştırılması da mümkün değildir. Genel bir puan vermek yerine cerrahın her hareketinin tespit edilip ayrı ayrı puanlandığı bir sistemin olması durumunda, tam olarak nerelerde hata yapıldığı, hangi hareketlere daha çok çalışılması gerektiği gibi bilgilerin edilebilecek olması olması, öğrenme sürecine olumlu katkılar sunacaktır. Bu tez kapsamında, bahsi geçen eksikliklerin giderilmesi amaçlanarak çok daha kapsamlı yeni bir veri seti oluşturulmuştur. Veri seti oluşturmak için deneyler Napoli Federico II. Üniversitesi Robotik Cerrahide Gelişmelerin Bölümler Arası Merkezi'nde (ICAROS) da Vinci Araştırma Kiti (dVRK) kullanılarak yapılmıştır. Deneyler sırasında, farklı beceri düzeylerine sahip 8 cerrah 6 temel cerrahi tekniği 3 tekrar ile gerçekleştirmiştir. Sözü geçen teknikler iğne geçirme, düğüm atma, koterizasyon, diseksiyon ve polip rezeksiyonu'dur. Deneyler sırasında robotun hasta ve cerrah tarafındaki uzuvlarının x,y,z eksenlerindeki konumları, hızları, ivmeleri, açısal konum hız ve ivmeleri ile eklemlere etkiyen kuvvet ve momentler yaklaşık 200 Hz örnekleme frekansında toplam 76 kanal ile kayıt edilmiştir. Ayrıca hasta tarafındaki 3 boyutlu görüntü sağlayan endoskopik kameranın sağ ve sol kanalları yüksek çözünürlükte ve kinematik verilerle eş zamanlı olarak saniyede 25 kare hızda ROS ile rosbag formatında ham olarak kayıt edilmiş ve sonrasında işlenerek kinematik veriler ve karşılık gelen videolar elde edilmiştir. Ham verileri kullanılabilir veri setine çevrimek için gereken python kütüphaneleri yazıldıktan sonra veriler işlenmiş ve ardından etiketleme sırasında cerrahlara hız ve kolaylık sağlaması için Matlab kullanılarak kullanıcı arayüzü yazılmıştır. Veri etiketleme formatı olarak ilk yayınlanan veri setiyle uyumluluk sağlaması açısından aynı mimiklerin (atomic gestures) aynı isimde olmasına dikkat edilerek ilk veri setinde 15 olan mimik sayısı 35'e çıkarılmıştır. Bu 35 mimik alanında uzman cerrahların önerileri üzerine oluşturulmuştur veri setinin tamamını kapsayacak şekildedir. Tezin ikinci kısmında veri seti üzerinde öngörü elde etmek adına 6 cerrahi teknik için de açıklayıcı grafikler elde edilmiştir. Koterizasyon sadece 4 mimik kullanılarak yapılabilirken cerrahi dikiş dikmenin yaklaşık olarak 13 mimik gerektirdiği görülmüştür. Ayrıca veri setinde hangi tekniklerin daha yüksek skorlarla yapıldığı, herhangi bir istatistik dağılımına uyup uymadığı kontrol edilmiştir. Bulgulara göre puanlamada normal dağılıma yakınsandığı görülmüştür. Ortalama olarak en yüksek puanlar ise beklenildiği gibi görece daha basit olan koterizasyon tekniğinden alınmıştır. Ayrıca bir sonraki adımda öğrenme hızını artırmak ve videoların kayıt edilen kare sayısıyla uyumlu olması için veri setinin 200 Hz'den 25 Hz'e altörneklendiği bir versiyonu da kayıt edilmiştir. Son kısımda ise makine öğrenmesi ve derin öğrenme yapıları kurularak mimik tanıma ve sürekli puanlama yapabilmek veri üzerinde eğitilerek testleri yapılmıştır. Testler sırasında, denemenin birinin test için bırakıldığı (LOSO) ve deneye katılanlardan birisinin test için bırakıldığı (LOUO) durumları için yapay sinir ağlarının performansları incelenerek karşılaştırılmıştır. Daha önce mümkün olmayan sürekli puanlama sisteminin sonuçları görsel ve nicel olarak elde edilip sonuçlara eklenmiştir. Bunun yanında daha önceki veri setinde bulunmayan robot kuvvetlerinin sonuçlara etkisi, bunların veri setine eklenip çıkarılararak elde edilen alt veri setlerinin aynı derin öğrenme metodlarıyla eğitilip test edilmesiyle gözlemlenmiştir. Kuvvetlerin de veri setine eklenmesinin derin ağlarda sonuçları değiştirmediği gözlenmiştir. Buna karşı sadece kuvvet verileri ile bile \% 85 oranında doğruluk sağlanmaktadır. Bu durum, derin yapay sinir ağlarının kuvvet verilerine ihtiyacı olmadan da aslında bunlara benzer özellikleri hesaplayabildiğine işaret olarak görülmüştür. Bununla birlikte bu verileri eğitim setine eklemek performansı az bir miktarda artırmaktadır. Sadece kuvvet ve moment verilerinden oluşan alt veri seti ile eğitim ve test yapmanın hesaplama gücü ve zamanı bakımından daha verimli olması göz önüne alınarak, bu alt veri setinin farklı metodları geliştirme sırasında kullanılmasının, en sonda ise veri setinin tamamının kullanılmasının faydaları gözlemlenmiştir. Mimik tanımada yaklaşık olarak \% 99 oranında doğruluk elde edilirken, sürekli puanlama sisteminde ise 10 üzerinden yaklaşık olarak 0.2 ortalama karesel hata elde edilmiştir. Bu sonuçlar çok iyi gibi görünse de daha da iyileştirilmesi mümkündür. Bu çalışma ile şimdiye kadarki en kapsamlı robotik cerrahi veri seti oluşturulmuş, örnek olarak derin öğrenme ve makine öğrenmesi teknikleri ile mimik tanıma ve daha öncesinde mümkün olmayan sürekli puanlama sistemi oluşturulmuştur. Kuvvet ve momentlerin etkisi incelenmiş ve veri setinin getirdiği yeniliğin faydası gösterilmiştir. Daha önce hiç bahsi geçmeyen koterizasyon, diseksiyon ve polip rezeksiyonu teknikleri literatüre kazandırılmıştır. Dikiş dikme, iğne geçirme ve düğüm atma teknikleri için ise alternatif ve daha yüksek çözünürlük sunan veri seti yine literatüre kazandırılmıştır. Ayrıca bu çalışma sayesinde baştan başa ve gerçek zamanda puanlama yapılabilmesi mümkün olduğu için, aynı yapı sadece puanlama için değil, bu cerrahi tekniklerin tam otomasyonu için de kullanılabilir. Bunun yanında bu çalışma kullanılarak cerrahın hata yapacağını önceden anlayıp sanal olarak sabitleme yapabilen sistemler de daha yüksek hassasiyetle geliştirilebilir. Veri seti ICAROS web sayfasında, kodlar ise github.com/decanbay adresinde herkesin kullanımına açık olarak sunulacaktır.

Özet (Çeviri)

Medical surgeries are transforming with robotics and the need of skilled surgeons are desired to perform minimally invasive surgeries with medical robots, for now. Training of medical students relies on the feedback of expert surgeons, which requires the time and attention of expert surgeons. This process is susceptible to interobserver variability and the resulting skill levels of the students will vary depending on the supervisor. Increasing complexity of medical surgeries and advancements in the robotics gave birth to medical robotics which allows carrying out surgical operations with greater precision and faster recovery duration. Performing surgeries using medical robots also requires training and as computers are involved it is possible to take the burden on the expert surgeons and develop algorithms in the training process that can assess the skills of the students objectively and give feedback to facilitate the learning process. In this thesis, a surgical performance assessment dataset is created on the da Vinci Research Kit which is in Interdepartmental Center for Advances in Robotic Surgery (ICAROS) of the University of Naples Federico II. Suturing, needle passing, knot-tying, cauterization, dissection and polyp resection are basic surgical tasks and aimed to be performed by 8 surgeons with 3 repetitions which sums to total of 144 trials. 76 dimensional kinematics data and stereo video captures are collected and labeled for each trial. A Matlab GUI program is created to speed up the labeling process and Python libraries are created for data handling and exploration. MLP, CNN, LSTM and mixed architectures are developed for gesture recognition and compared qualitatively. LOSO and LOUO scores are examined. The effect of force ques are observed by removing and adding the force features to the dataset. It is observed that adding the force cues did not change the results much as the deep networks may be calculating force-like features when there is no force features as input to the networks.

Benzer Tezler

  1. Tez No

    442354

    Multiobjective evolutionary feature subset selection algorithm for binary classification

    İkili sınıflandırma için çok amaçlı evrimsel öznitelik alt kümesi seçimi algoritması

    FİRDEVSİ AYÇA DENİZ KIZILÖZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2016

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. AHMET COŞAR

    YRD. DOÇ. DR. TANSEL DÖKEROĞLU

  2. Tez No

    863639

    Mil-Std 1553 tabanlı sistemler için yeni bir saldırı tespiti yaklaşımı

    A new intrusion detection approach for Mil-Std 1553 based systems

    YUNUS EMRE ÇİLOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ŞERİF BAHTİYAR

  3. Tez No

    645243

    Assessing added value of wave coupling for the Mediterranean climate and extremes in regional earth system model simulations

    Bölgesel yer sı̇stem modelı̇ sı̇mülasyonlarında Akdenı̇z ı̇klı̇mı̇ ve ekstremlerı̇ ı̇çı̇n dalga bı̇rleşı̇mı̇nı̇n katma değerı̇nı̇n belı̇rlenmesı̇

    FULDEN BATIBENİZ

    Doktora

    İngilizce

    İngilizce

    2020

    Meteorolojiİstanbul Teknik Üniversitesi

    Meteoroloji Mühendisliği Ana Bilim Dalı

    DOÇ. DR. BARIŞ ÖNOL

  4. Tez No

    676744

    Cogging torque and performance optimization of an interior permanent magnet synchronous motor used in commercial washing machines

    Ticari çamaşır makinelerinde kullanılan gömülü daimi mıknatıslı senkron motorların tutunma momenti ve performans en uygunlaştırması

    EGE ÜNLÜTEPE KESKİN

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektrik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. DERYA AHMET KOCABAŞ

  5. Tez No

    496421

    Mimari tasarım eğitiminde stüdyo kültürü araştırması: Öğrenen-merkezli ortamın yansımaları

    Studio culture in architectural design education: Reflections of learner-centered environment

    CEMİLE SANEM ERSİNE MASATLIOĞLU

    Doktora

    Türkçe

    Türkçe

    2018

    Mimarlıkİstanbul Teknik Üniversitesi

    Mimarlık Ana Bilim Dalı

    DOÇ. DR. NURBİN PAKER KAHVECİOĞLU

Geri Dön