Çekişmeli üretici ağ tabanlı veri artırımı yaklaşımı ile otoskop görüntülerinden kulak zarı patolojilerinin tespiti
Detection of eardrum pathologies from otoscope images with generative adversarial network-based data augmentation approach
- Tez No: 753643
- Danışmanlar: PROF. DR. MİNE ELİF KARSLIGİL YAVUZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 82
Özet
Medikal örüntü tanıma sistemleri aracılığıyla doktorların tanı koymasına yardımcı olacak sistemlerin geliştirilmesi son dönemde ilgi çeken bir alandır. Yapılan çalışma kapsamında ilk olarak bir otoskop cihazından alınan 10.088 adet kulak zarı görüntüsü toplanmıştır. Toplanan görüntülerden 921 adet görüntü Kulak Burun Boğaz Uzmanı tarafından etiketlenmiştir. Etiketlenen görüntüler temizlendikten sonra normal, akut otitis media, buşon, egzositoz, eksternal otit, miringoskleroz, otomikoz, retraksiyon, seröz otitis media ve kronik otitis media perforasyon sınıflarına ait toplam 276 adet görüntü test verisi olarak ayrılmıştır. Etiketlenen görüntülerde normal sınıf haricinde kalan ve patoloji içeren görsellerin oranı daha düşük olduğu için bu patolojik görüntülerin tespiti problemine anomali tespiti şeklinde yaklaşılmıştır. Patolojik görüntülerin tespitinde kullanmak amacıyla görüntü özniteliklerinin çıkarılması için alanda uzmanlık gerektiren yaklaşımların aksine veriyi anlamlandırarak öznitelik çıkaran derin öğrenme tabanlı modeller eğitilmiştir. Bu kapsamda gözetimsiz bir otokodlayıcı ve sınırlı miktarda etiketlenen veriyi kullanan gözetimli şekilde farklı EfficientNet modelleri eğitilmiştir. En yüksek F1 skoruna sahip EfficientNet-B6 temelli modelde etiketli test verisi üzerinde patolojik sınıf için 0.755 kesinlik puanı, 0.825 duyarlılık puanı ve 0.788 F1 puanı alınmıştır. Eğitilen modellerin alt katmanlarından öznitelik vektörleri alınmıştır. Toplanan veri kümesindeki etiketlenmiş görüntü sayısı etiketsiz verinin yaklaşık \%10'u olduğu için gözetimsiz anomali tespiti yaklaşımı ile patolojik görüntülerin sınıflandırılması yaklaşımı tercih edilmiştir. Etiketsiz veri kümesinden yararlanmak amacıyla bir izolasyon tabanlı karar ağacı ormanı (IForest) modeli üzerinde eğitim gerçeklenmiştir. Sistemin başarısını ölçmek amacıyla kesinlik, duyarlılık ve F1 başarımları dikkate alınmıştır. Patolojik görüntülerin yanlışlıkla sağlıklı olarak sınıflandırılmasını engellemenin daha önemli olmasından dolayı test başarımları izlenirken duyarlılık puanına dikkat edilmiştir. Gözetimsiz olarak eğitilen IForest modelinden alınan duyarlılık puanının, öznitelik çıkarımı amacıyla etikete sahip görseller ile eğitilen gözetimli sınıflandırıcı modelin duyarlılık puanından daha düşük olduğu görülmüştür. Bu başarıyı artırmak adına uygulanabilecek veri artırımı yaklaşımları incelenmiştir. Verinin şeklinin ve renk dağılımlarının önem arz ettiği medikal görüntülerde klasik görüntü işleme yöntemleri kullanılarak veri artırımı yapmanın uygun olmadığına karar verilmiştir. Bu nedenle veri artırımını sağlamak amacıyla toplanan görüntüler kullanılarak Gradyan Cezalı Wasserstein Çekkişmeli Üretici Ağları (Generative Adversarial Networks) (GAN), kademeli büyüyen GAN ve StyleGAN mimarileri ile yapay kulak zarı görüntüleri üretilmiştir. Üretilen görüntüler uzman doktorlar tarafından bir Görsel Turing Testi kullanılarak gerçek/yapay olacak şekilde oylanmıştır. En yüksek başarıma sahip GAN mimarisi seçildikten sonra üretilen farklı miktardaki yapay görüntüler orijinal görüntülere eklenerek gözetimsiz eğitim gerçeklenmiştir. Veri artırımı yapılmadan gerçeklenen eğitime kıyasla veri artırımı yapıldığında, duyarlılık başarımının 0.674'ten 0.895'e ve F1 puanının 0.641'den 0.684'e yükseldiği ancak kesinlik puanının 0.611'den 0.554'e düştüğü görülmüştür. Kesinlik puanındaki düşüşe kıyasla, patolojik görüntülerin doğru olarak sınıflandırılmasında önem arz eden duyarlılık başarısının 0.22 artması veri artırımı yaklaşımının etkili olduğunu göstermiştir. IForest modeli, EfficientNet-B6'ya kıyasla daha fazla yanlış alarm üretmesine rağmen patolojik görüntüleri daha yüksek başarımla yakaladığı için patolojik görüntü tespitinde doğruluk ihtiyacının daha önemli olduğu durumlarda kullanılabileceği düşünülmektedir.
Özet (Çeviri)
There is a rising interest in computer-aided diagnosis systems which use medical images to assign a diagnosis to a patient. This study proposes a methodology for detecting pathological tympanic membrane images. To achieve this goal, 10.088 tympanic membrane images were collected by a doctor using an otoscope device. 921 of the acquired image labeled by an expert physician. After removing the labels with low image counts, the dataset of 276 labels with labels of normal, acute otitis media, ear wax, exocytosis, external otitis, myringoscleroz, otomycosis, retraction, serous otitis media, and chronic otitis media have prepared as a test set. Due to the low amount of data apart from normal labels, the problem of pathology detection is considered as anomaly detection. Contrary to the approaches that require expertise in the field, deep learning-based models that extract features by making sense of the data have been trained and used to acquire the image features. In this context, an unsupervised autoencoder and supervisedly trained different sizes of EfficientNet models, which uses a limited amount of labeled data, are trained. The supervised model achieved a 0.755 precision, 0.825 recall, and 0.788 F1 scores for the pathological class from the labeled test data. Feature vectors of the images are taken from the lower layers of trained models. Unsupervised image classification as a pathological image recognition approach is preferred due to the low amount of labeled data in the collected dataset. To utilize the unlabeled data, Isolation Forest (IForest) model is trained on the whole dataset. To measure the success of the system, precision, recall, and f1 scores are selected as performance measures. To prevent the misclassification of pathological images, exceptional attention has been given to recall score. To improve the performance of the unsupervised IForest model which has lower scores across all performance metrics, different dataset augmentation approaches are looked upon. Due to the importance of shape and color distributions of medical images, classical data augmentation approaches are omitted. To increase the data count, architectures like Wasserstein Generative Adversarial Networks (GAN) with Gradient Penalty, progressive growing GAN, and StyleGAN are trained by utilizing the training data. Then, the realness of generated images is evaluated by physicians using a Visual Turing Test. After selecting the most realistic GAN architecture, different amounts of artificial images were added to original images for unsupervised pathology detection. In contrast to training without data augmentation using artificial eardrum images, the F1 score and recall score increased from 0.641 to 0.683 and from 0.674 to 0.895. Concerning this increase, the precision score decreased from 0.611 to 0.554. Compared to the decrease in the precision score, an increase of 0.22 in the recall score showed the success of the data augmentation strategy. As a result, the IForest model has more false positives but it is better at catching pathological images which is more important in the medical domain.
Benzer Tezler
- Derin öğrenme için yenilikçi düzgünleştirme yaklaşımlarının geliştirilmesi ve medikal görüntülere uygulanması
Development of new regularization approaches for deep learning and application to medical images
KAZIM FIRILDAK
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİnönü ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUHAMMED FATİH TALU
DR. ÖĞR. ÜYESİ GAFFARİ ÇELİK
- A new and efficient method for synthetic data generation with generative adversarial networks
Çekişmeli üretici ağ kullanilarak sentetik data üretmede yeni ve verimli bir metod
OKAN DÜZYEL
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik MühendisliğiDokuz Eylül ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET KUNTALP
- Çekişmeli üretici ağ tabanlı veri artırımı ile derin öğrenme tabanlı tıbbi teşhis
Deep learning based medical diagnostics with generative adversarial network based data augmentation
AHMET EZGİ
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Katip Çelebi ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
PROF. DR. AYTUĞ ONAN
DOÇ. DR. VAHİDE BULUT
- Yapılandırılmış veri kümelerinin GAN ile artırılmasının makine öğrenmesi yöntemleri üzerindeki etkisinin analizi
Analysis of the impact of augmenting structured datasets with GAN on machine learning methods
AMEL SULAIMAN MANDAN SALIHI
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
DOÇ. DR. OKTAY YILDIZ
- Yapay zeka ve mimarlık etkileşimi üzerine bir çalışma:Üretken çekişmeli ağ algoritması ile otonom mimari plan üretimi ve değerlendirmesi
A study on interaction of artificial intelligence and architecture: Production and evaluation of architectural plans with generative adversarial networks
CAN UZUN
Doktora
Türkçe
2020
Mimarlıkİstanbul Teknik ÜniversitesiBilişim Ana Bilim Dalı
PROF. DR. MERYEM BİRGÜL ÇOLAKOĞLU