Medikal görüntülerin analizinde dönüşüm tabanlı modellere açıklanabilir yapay zeka yaklaşımlarının uygulanması
Utilizing explainable artificial intelligence approaches to transformer based models in medical image analysis
- Tez No: 985868
- Danışmanlar: DOÇ. DR. ABDULNASIR YILDIZ
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Dicle Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Son yıllarda medikal görüntü analizi alanında derin öğrenme tabanlı yöntemler, hastalık tanısında ve klinik tanı destek sistemlerinde önemli bir yer edinmiştir. Özellikle yüksek çözünürlüklü medikal görüntülerde karmaşık doku yapılarının incelenmesi geleneksel yöntemlerin ötesinde açıklanabilir ve güvenilir makine öğrenmesi yaklaşımlarına olan ihtiyacı artırmaktadır. Bu tez çalışmasının genel amacı, farklı medikal görüntüleme alanlarında (histopatoloji, dermatoloji ve otoskopi) dönüşüm ve evrişim tabanlı mimariler ile Açıklanabilir Yapay Zeka (AYZ) yöntemlerini bütünleştirerek yorumlanabilir ve genellenebilir sınıflandırma modelleri geliştirmektir. Bu kapsamda ilk aşamada, akciğer kanseri histopatolojik görüntülerinin otomatik sınıflandırılması için Evrişimsel Sinir Ağı, Vision Transformer (ViT) ve EfficientNet-B1 mimarileri karşılaştırılmış; açıklanabilirlik kapsamında Local Interpretable Model-agnostic Explainable (LIME) yöntemi uygulanmıştır. Ayrıca FourierNet (FNet) mimarisi ile LIME algoritmasının birlikte kullanıldığı ikinci bir çalışma (akciğer, kolon, meme kanseri) ile model çıktılarının medikal anlamlılığı değerlendirilmiş ve sonuçlar patolog görüşüyle doğrulanmıştır. Tezin ikinci aşamasında, farklı klinik alanlarda dönüşüm tabanlı modellerin genellenebilirliğini incelemek amacıyla deri lezyonu ve kulak zarı veri setleri üzerinde ViT ve Data-efficient Image Transformer (DeiT) modelleri eğitilmiştir. Deri lezyonları sınıflandırmasında en başarılı iki yöntem olarak tespit edilen Gradient Weighted Class Activation Map (Grad-CAM) ve Layer-wise Relevance Propagation (LRP) yöntemleri birleştirilerek Temel Bileşenler Analizi tabanlı yeni bir hibrit açıklanabilir yaklaşım önerilmiştir. Otoskopik görüntülerde ise yine en başarılı iki metot olarak bulunan Attention Rollout (AR) ve LRP yöntemlerinin Kanonik Korelasyon Analizi ile bütünleştirildiği hibrit bir açıklama stratejisi sunulmuştur. Açıklanabilirlik performansı, silme ve ekleme nedensel metrikleriyle nicel olarak değerlendirilmiştir. Elde edilen sonuçlar, ViT modelinin tüm veri kümelerinde en yüksek doğruluk, hassasiyet ve eğrinin altında kalan alan (AUC) değerlerini sağladığını göstermiştir. Deri lezyonları veri setinde ikili sınıflandırmada AUC=0.9192, çok sınıflı analizde AUC=0.9784 değerine ulaşılmış; kulak zarı görüntülerinde ise ViT modeli 0.9976 AUC değeriyle en yüksek başarımı göstermiştir. Hibrit açıklanabilir yaklaşımlar, tekil AYZ yöntemlerine göre daha düşük silme ve daha yüksek ekleme skorlarıyla model kararlarının güvenilirliğini artırmıştır. Sonuç olarak, mevcut tez kapsamında geliştirilen modeller, farklı medikal görüntüleme alanlarında hem yüksek sınıflandırma başarımı hem de güvenilir açıklanabilirlik sunarak klinisyenlerin güvenini ve karar destek sistemlerinin şeffaflığını artırmaktadır. Gelecekteki çalışmalar, çok merkezli veri kümeleri kullanarak farklı modalitelerin entegrasyonu ve gelişmiş nedensel analizlerle modelin klinik uygulanabilirliğini artırmayı hedeflemektedir.
Özet (Çeviri)
In recent years, deep learning–based methods have gained significant prominence in the field of medical image analysis, particularly in disease diagnosis and clinical decision-support systems. The examination of complex tissue structures in high-resolution medical images has increased the need for explainable and reliable machine learning approaches beyond traditional methods. The overall objective of this thesis is to develop explainable and generalizable classification models by integrating convolution and transformer-based architectures with Explainable Artificial Intelligence (XAI) techniques across different medical imaging domains (histopathology, dermatology, and otoscopy). In the first phase, Convolutional Neural Network, Vision Transformer (ViT), and EfficientNet-B1 architectures were compared for the automatic classification of lung cancer histopathology images, and Local Interpretable Model-agnostic Explainable (LIME) method was applied for explainability. Additionally, a second study involving FourierNet (FNet) combined with LIME was conducted on lung, colon, and breast cancer datasets to evaluate the medical relevance of model outputs, which was confirmed through pathologist feedback. In the second phase, ViT and Data-efficient Image Transformer (DeiT) models were trained on skin lesion and tympanic membrane (TM) image datasets to investigate the generalizability of transformer-based models across different clinical domains. For skin lesion classification, the two best-performing XAI methods—Gradient-weighted Class Activation Map (Grad-CAM) and Layer-wise Relevance Propagation (LRP)—were fused to propose a novel hybrid explainability approach based on Principal Component Analysis. For otoscopic images, another hybrid strategy was introduced by integrating Attention Rollout (AR) and LRP using Canonical Correlation Analysis. Explainability performance was quantitatively evaluated using deletion and insertion causal metrics. The results demonstrate that the ViT model achieved the highest accuracy, precision, and area under the curve (AUC) across all datasets. On the skin lesion dataset, ViT achieved AUC values of 0.9192 (binary classification) and 0.9784 (multi-class classification), while on the TM dataset the model reached the highest AUC of 0.9976. The proposed hybrid explainability approaches improved the reliability of model decisions by yielding lower deletion and higher insertion scores compared to individual XAI methods. In conclusion, the models developed within current thesis provide both high classification performance and reliable explainability across different medical imaging domains, thereby enhancing clinician confidence and increasing the transparency of clinical decision-support systems. Future studies will focus on improving clinical applicability through the integration of multi-center datasets, multimodal data fusion, and advanced causal analysis strategies.
Benzer Tezler
- Mekansal-zamansal hasta hareketlilik verileriyle mekansal etkileşim örüntülerinin analizi ve akış haritaları aracı tasarımı ve geliştirilmesi
Analysis of spatial interaction patterns using spatio temporal patient mobility data, and designing and developing a flow mapping tool
SELMAN DELİL
Doktora
Türkçe
2019
Coğrafyaİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
PROF. DR. RAHMİ NURHAN ÇELİK
- Fundus floresein anjiografi görüntüleri üzerinden görüntü işleme teknikleri kullanılarak retinal damar hastalıklarının belirlenmesi
Determination of retinal vascular diseases by using image processing techniques on fundus fluorescein
HALİT ÇETİNER
Doktora
Türkçe
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSüleyman Demirel ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. BAYRAM CETİŞLİ
- Epileptik preiktal aktivitelerin EEG-Aura tabanlı evrişimsel sinir ağları ve topoğrafik haritalama yaklaşımı ile değerlendirilmesi
Evaluation of epileptic preictal activities by EEG-Aura based convolutional neural networks and topographic mapping approach
HASAN POLAT
Doktora
Türkçe
2020
Elektrik ve Elektronik MühendisliğiDicle ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET SİRAÇ ÖZERDEM
- MR görüntülerinde alzheimer hastalığının özniteliklerinin belirlenmesi
Determination of features of alzheimer disease on MR images
MUHAMMET ÜSAME ÖZİÇ
Yüksek Lisans
Türkçe
2013
Elektrik ve Elektronik MühendisliğiSelçuk ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. YÜKSEL ÖZBAY
- Medikal görüntülerin çoklu çözünürlük metotları ile analizi
Analysis of medical images with multi-resolution methods
HÜSEYİN YAŞAR
Yüksek Lisans
Türkçe
2015
Elektrik ve Elektronik MühendisliğiSelçuk ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. MURAT CEYLAN