Deep learning based surgical phase recognition in laparoscopic videos
Laparoskopik videolarda derin öğrenme tabanlı cerrahi faz tanıma
- Tez No: 790637
- Danışmanlar: PROF. DR. NİZAMETTİN AYDIN
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 116
Özet
Derin öğrenme ve bilgisayarla görüye dayalı cerrahi karar desteği ameliyathanedeki görevleri otomatikleştirmek için önemli bir potansiyel sunmaktadır. Bu tezde, laparoskopik cerrahi videolarda faz tanıma için derin öğrenme tabanlı yöntemleri inceledik. Özellikle, veri kümelerini ve model performans değerlendirmesini içeren veri merkezli bir çalışma gerçekleştirdik. İlk olarak, mevcut derin öğrenmeye dayalı faz tanıma yöntemlerini ve veri kümelerini ayrıntılı bir şekilde inceledik. Bu bağlamda 384 adet laparoskopik kolesistektomi videosundan oluşan veri kümesi oluşturduk. Bu veri kümesi mevcut cerrahi faz tanıma veri kümeleri arasında en büyüklerinden birisi haline geldi. İkinci olarak, veri kümemiz ile cerrahi faz tanıma için en sık kullanılan açık erişimli veri kümesi olan Cholec80 arasında sistematik bir karşılaştırma gerçekleştirdik. Sonuç olarak bu iki veri kümesi arasında önemli farklılıklar gözlemledik. Kendi veri kümemizin videoları çok daha uzun ve Cholec80'de bulunmayan ek fazlar içermekteydi. Buna ek olarak, cerrahi faz geçişleri daha karmaşıktı. Sonra, Cholec80 veri kümesinde en yüksek performansı göstermiş olan iki adet iki aşamalı faz tanıma modelini veri kümemiz ile eğittik ve performanslarını ayrıntılı olarak değerlendirdik. Modellerin performansı cerrahi fazlar ve videolar arasında büyük farklılıklar gösterdi. Sonuçlarımız oldukça az temsil edilen cerrahi fazları tanımanın zorluğunu gösterdi. Ana fazlar en az yüzde 76 geri çağırma ile tanındı. Üçüncüsü, büyük ölçekli veri kümemizde eğitilen bir modelin, veri kümemizden önemli ölçüde daha küçük olan Cholec80'e transfer öğrenmesi ile nasıl uyarlanabileceğini çalıştık. Bu amaçla, hedef veri kümesinde farklı sayıda etiketli videolar kullanarak model uyarlanması için ince ayar stratejileri sunduk. Modelin Cholec80 veri kümesinden yalnızca 5 video ile ince ayarı yapıldığında elde edilen performans orjinal kümedeki tüm videolarla (40 video) eğitilmesiyle elde edilenden daha fazla oldu. Bu sonuç transfer öğrenmesinin veri kıtlığının önemli ölçüde belirgin olduğu cerrahi faz tanıma için önemli bir katkı sunabileceğini gösterdi. Sonuçlarımız, cerrahi faz tanıma modellerinin gerçek ortamda tam otomatik olarak kullanılması için daha büyük veri kümelerine ihtiyaç olduğunu ortaya koydu. Çalışmamızın bu modelleri gerçek ortamda kullanan uzmanlar ve özel veri kümelerine sınırlı erişimi olup sürekli olarak açık kaynak verilerle çalışan araştırmacılar için faydalı bir rehber olacağına inanıyoruz.
Özet (Çeviri)
Deep learning and computer vision-based surgical decision support offer great potential for automating tasks in the operating room. In this thesis, we focused on deep learning-based methods for surgical phase recognition in laparoscopic surgery videos. In particular, we conducted a data-centric study that included datasets and model performance evaluation in depth. First, we reviewed existing deep learning-based phase recognition methods and datasets in detail. To this end, we created a dataset of 384 laparoscopic cholecystectomy videos. This dataset has become one of the largest among the existing surgical phase recognition datasets. Second, we performed a systematic comparison between our dataset and Cholec80, which is the most frequently used publicly available dataset for surgical phase recognition, and observed significant differences between the two datasets. Our videos were much longer and included additional phases. The phase transitions in our dataset were more complex. Next, we trained two two-stage phase recognition models with our dataset, which had previously shown the highest performance on the Cholec80, and evaluated their performance in detail. The performance of the models varied greatly between surgical phases and videos. In particular, our results demonstrated the difficulty of recognizing the highly underrepresented surgical phases. Major phases were recognized with at least 76 percent recall. Third, we studied how a model trained on our large-scale dataset could be adapted to Cholec80, which is significantly smaller than our dataset. To this end, we presented fine-tuning strategies for model adaptation, experimenting with different numbers of labeled videos in the target dataset. Our experiments showed that when fine-tuned with only five videos from Cholec80, the model achieved a higher performance than that obtained by training it with all the videos in the original set (40 videos). This result showed that transfer learning can make an important contribution to surgical phase recognition where data scarcity is significantly evident. Our results revealed that larger datasets are needed for the fully automatic use of surgical phase recognition models in the real world. We believe that our study will be a useful guide for experts who deploy and use these models in the real world, and for researchers who constantly work with public data having limited access to private datasets.
Benzer Tezler
- A novel antenna configuration for microwave hyperthermia
Mikrodalga hipertermi için yeni bir anten yapılanması
GÜLŞAH YILDIZ ALTINTAŞ
Doktora
İngilizce
2022
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. İBRAHİM AKDUMAN
DOÇ. DR. TUBA YILMAZ ABDOLSAHEB
- Fully automated deep learning and machine learning –based prognosis models for survival prediction of brain tumor patients using multi-modal mri images
Multimodal mrı görüntüleri kullanarak beyin tümörü hastalarının hayatta kalma tahmini için tam otomatik derin öğrenme ve makine öğrenme tabanlı prognoz modelleri
ABDELA AHMED MOSSA
Doktora
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇukurova ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ULUS ÇEVİK
- Derin öğrenme yaklaşımı ile mandibular kanal ve üçüncü mandibular molar ilişkisinin CBCT ile değerlendirilmesi
Evaluation of the mandibular canal and the third mandibular molar relationship by CBCT with a deep learning approach
SUAY YAĞMUR ÜNAL
Diş Hekimliği Uzmanlık
Türkçe
2024
Diş HekimliğiMarmara ÜniversitesiAğız, Diş ve Çene Radyolojisi Ana Bilim Dalı
PROF. DR. FİLİZ MEDİHA NAMDAR PEKİNER
- Derin öğrenme temelli medikal görüntü analizinde sığ ve derin özniteliklerin tümleştirilmesi
Fusion of shallow and deep features in deep learning-based medical image analysis
COŞKU ÖKSÜZ
Doktora
Türkçe
2022
Elektrik ve Elektronik MühendisliğiKocaeli ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. OĞUZHAN URHAN
PROF. DR. MEHMET KEMAL GÜLLÜ
- Serebrovasküler hastalıkların teşhisi için yapay zeka tabanlı karar destek sistemi
Artificial intelligence based decision support system for diagnosis of cerebrovascular disease
FURKAN KUTAN
Yüksek Lisans
Türkçe
2023
Elektrik ve Elektronik MühendisliğiGazi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. UĞURHAN KUTBAY