Cilt lezyonlarının sınıflandırılmasında yumuşak dikkat tabanlı çok modlu derin öğrenme modellerinin geliştirilmesi
Development of soft attention based multi-modal deep learning models for skin lesion classification
- Tez No: 801289
- Danışmanlar: DOÇ. DR. EMİN ARGUN ORAL
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Atatürk Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 114
Özet
Amaç: Cilt lezyonlarının tespiti ve sınıflandırması, cilt kanseri tanısında son derece önemlidir. Cilt kanserinin erken teşhisi hekimlerin cilt lezyonlarının daha etkili tedavisini sağlamalarına ve ölüm oranlarının azaltılmasına yardımcı olmaktadır. Erken teşhisin insan hayatı için kritik öneme sahip olduğu bu hastalığın otomatik tespiti için Yapay Zeka tabanlı cilt lezyonu teşhis sistemleri geliştirilmiştir. Bunların arasında çok modlu sistemler, cilt lezyonlarının sınıflandırılmasında yüksek performans göstermiştir. Ancak bu yöntemlerde genellikle iki görüntüleme modalitesinin füzyonu için klasik yaklaşımlar kullanılmaktadır ve bu yöntemler özniteliklerin sınırlı temsil kabiliyetine yol açabilmektedir. Cilt lezyonları sınıflar arası büyük benzerlik ve sınıf içi varyasyondan dolayı görsel olarak karmaşıklığa sahip olduğundan cilt lezyonu bölgelerine odaklanarak bu bölgelerdeki ince farklılıkları bulmak lezyonların sınıflandırılması için kritiktir. Bu nedenle bu tez çalışmasında cilt lezyonlarının sınıflandırılmasında çok modlu verilerin etkili füzyon stratejilerinin ve cilt lezyonlarının en ilgili bölgelerine odaklanmayı sağlayacak otomatik teşhis sisteminin geliştirilmesi amaçlanmıştır. Yöntem: Cilt lezyonlarının sınıflandırılması için çok modlu verilerin hibrit yaklaşımına ve yumuşak dikkat modüllerine dayalı iki farklı yöntem geliştirilmiştir. Cilt lezyonlarının sınıflandırılmasında dermoskopi ve klinik görüntülere ilaveten hastaların klinik verileri kullanılmıştır. Yumuşak dikkat modülleri cilt lezyonlarının en ilgili bölgelerine odaklanabilmek için kullanılırken çok modlu verilerin füzyonu için her bir yöntemde sırasıyla tek aşamalı ve çok aşamalı füzyon yaklaşımları geliştirilmiştir. Her iki yöntemde de bu çok modlu verilerin en etkili füzyon yaklaşımının bulunmasına yönelik farklı füzyon stratejileri geliştirilmiş ve bu stratejiler sırasıyla tasarlanılan çok dallı evrişim ve involüsyon tabanlı sinir ağları mimarilerine uygulanmıştır. Bulgular: Geliştirilen mimarilerde yumuşak dikkat modüllerinin lezyonların en ilgili bölgelerine odaklanmayı sağladığı ve involüsyon modüllerinin farklı modalitelerin görsel temsil kabiliyetlerini geliştirerek lezyon sınıflandırma performansını arttırdığı belirlenmiştir. Ayrıca geliştirilen çok aşamalı hibrit füzyon yaklaşımının çok modlu verilerin füzyonunda etkili olduğu ve kullanılan modalitelerden yüksek temsilli tamamlayıcı bilgiler sağladığı belirlenmiştir. Sonuç: Cilt lezyonlarının sınıflandırılmasında geliştirilen yumuşak dikkat ve involüsyon tabanlı çok modlu mimari lezyon sınıflandırma doğruluğunu arttırmıştır. Geliştirilen çok modlu füzyon yöntemi yalnızca cilt lezyonu sınıflandırması için değil aynı zamanda daha fazla modalite ile modellenebilen çeşitli uygulamalarda kullanılabilmektedir.
Özet (Çeviri)
Purpose: Detection and classification of skin lesions are extremely important in the diagnosis of skin cancer. Early detection of skin cancer helps physicians provide more effective treatment of skin lesions and reduce the number of deaths. Artificial Intelligence-based skin lesion diagnosis systems have been developed for the automatic detection of this disease, where early diagnosis is critical for human life. Among them, multimodal systems have shown high performance in classification of skin lesions. However, these methods generally use classical approaches for the fusion of two imaging modalities, and these methods may lead to limited representation of features. Because skin lesions are visually complex due to great similarity between classes and variation within classes, it is critical to classify lesions by focusing on skin lesion sites to find subtle differences in these regions. Therefore, in this thesis, it is aimed to develop the effective fusion strategies of multimodal data in the classification of skin lesions and an automatic diagnosis system that will focus on the most relevant areas of skin lesions. Method: Two different methods based on hybrid approach of multimodal data and soft attention modules have been developed for classification of skin lesions. In addition to dermoscopy and clinical images, clinical data of patients were used to classify skin lesions. While soft attention modules are used to focus on the most relevant areas of skin lesions, single-stage and multi-stage fusion approaches were developed in each method for the fusion of multimodal data, respectively. In both methods, different fusion strategies were developed to find the most effective fusion approach of these multimodal data and these strategies were applied to the designed multibranch convolutional and involution-based neural network architectures, respectively. Findings: In the developed architectures, it has been determined that the soft attention modules enable to focus on the most relevant regions of the lesions and the involution modules increase the lesion classification performance by improving the visual representation capabilities of different modalities. In addition, it has been determined that the developed multi-stage hybrid fusion approach is effective in the fusion of multimodal data and provides highly representative complementary information from the modalities used. Results: The soft attention and involution-based multimodal architecture developed in the classification of skin lesions increased the accuracy of lesion classification. The developed multimodal fusion approach/method can be easily applied not only for skin lesion classification, but also in various/different areas with more modalities.
Benzer Tezler
- Cilt lezyonlarının dermatoskop görüntüleri üzerinden derin öğrenmeye dayalı yöntemle tespiti ve sınıflandırılması
Detection and classification of skin lesions based on deep learning from dermatoscop images
YUSUF YETGİN
Yüksek Lisans
Türkçe
2023
Mühendislik BilimleriAkdeniz ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
DOÇ. DR. EVGİN GÖÇERİ
- Classification of melanoma malignancy in dermatology
Dermatolojide melanoma malignansının sınıflandırılması
BİLGE SÜHEYLA GAZİOĞLU
Doktora
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Skin lesion classification with machine learning
Makine öğrenmesi ile cilt lezyonu sınıflandırması
ESRA SENDEL
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. İSA YILDIRIM
- Exploring transfer learning strategies with pre-trained convolutional neural network for skin cancer classification
Cilt kanserinin sınıflandırılmasına yönelik önceden eğitimli evrımsel sinir ağlarıyla transfer öğrenme stratejilerinin keşfedilmesi
RIYAM QADRI MANHEE AL-SAHLANEE
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ABDULLAHI ABDU IBRAHIM
- Skin lesion classification using deep convolutional neural network and HSV color space
Derin evrişimsel sinir ağı ve HSV renk uzayı kullanarak cilt lezyonlarının sınıflandırılması
TAMERLAN NUSRADDINOV
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ERSEL KAMAŞAK