Tıbbi görüntü veri setleri için evrişimli sinir ağları ve görüntü dönüştürücü mimarilerine yönelik hibrit sistemlerin geliştirilmesi
Development of hybrid systems for convolutional neural networks and vision transformer architectures for medical image datasets
- Tez No: 1003601
- Danışmanlar: PROF. DR. CEMİL ÇOLAK
- Tez Türü: Doktora
- Konular: Biyoistatistik, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Biostatistics, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Deep learning, convolutional neural networks, vision transformer, hybrid models, image processing, thyroid nodule classification, explainable artificial intelligence
- Yıl: 2026
- Dil: Türkçe
- Üniversite: İnönü Üniversitesi
- Enstitü: Sağlık Bilimleri Enstitüsü
- Ana Bilim Dalı: Biyoistatistik ve Tıp Bilişimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Amaç: Bu çalışmanın amacı, tiroid nodülü ultrason görüntülerinin sınıflandırılmasında, CNN, ViT ve bu mimarilerin Hibrit kombinasyonlarının performansını kapsamlı bir şekilde karşılaştırmak ve her iki yaklaşımın güçlü yönlerini birleştiren hibrit bir modelin (HuviT) etkinliğini değerlendirmektir Materyal ve Metot: Çalışmada, 6.905 tiroid ultrason görüntüsünden oluşan açık erişimli bir veri seti kullanılmıştır. Görüntülere yeniden boyutlandırma, normalizasyon ve çeşitli veri artırma teknikleri uygulanmıştır. Performans değerlendirmesi için ResNet-50, EfficientNet-B4, ConvNeXt, Swin Transformer, DeiT, PVTv2, XCiT, CoaT, MobileViT, ConViT ve özgün bir hibrit model olan HuviT olmak üzere 11 farklı derin öğrenme mimarisi eğitilmiştir. Modellerin karşılaştırılmasında doğruluk, kesinlik, duyarlılık, F1-skoru, özgüllük ve ROC-AUC metrikleri kullanılmıştır. Model kararlarının şeffaflığını artırmak için Grad-CAM, Score-CAM, Attention Rollout gibi açıklanabilir yapay zeka (XAI) yöntemleri entegre edilmiştir. Bulgular: Deneysel sonuçlar, hibrit bir mimari olan ConViT modelinin tüm metriklerde en yüksek performansı sergilediğini göstermiştir (%83.30 doğruluk, %83.30 kesinlik, %83.26 duyarlılık, %83.30 F1-skoru, %89.94 AUC). ConvNeXt (%82.63 doğruluk, %90.02 AUC) ve DeiT (%81.18 doğruluk, %89.10 AUC) modelleri de yüksek ve rekabetçi performans göstermiştir. Özgün hibrit model HuviT ise %76.35 doğruluk elde etmiştir. XAI analizleri, modellerin karar mekanizmalarının radyolojik inceleme ile uyumlu olduğunu göstermiştir. Sonuç: Bu çalışma, CNN'in yerel özellik çıkarımındaki gücü ile ViT'nin küresel bağlam modelleme kapasitesini birleştiren hibrit mimarilerin, tiroid ultrason görüntü analizinde saf mimarilere kıyasla üstün bir performans sergileyebileceğini kanıtlamıştır. Özellikle ConViT modelinin sergilediği yüksek ve dengeli başarı, bu tür hibrit yaklaşımların klinik karar destek sistemlerinde güvenilir bir araç olarak kullanılma potansiyelini ortaya koymaktadır.
Özet (Çeviri)
Aim: The aim of this study is to comprehensively compare the performance of CNN, ViT, and their hybrid combinations in the classification of thyroid nodule ultrasound images, and to evaluate the effectiveness of a hybrid model (HuviT) that combines the strengths of both approaches. Materials and Methods: A publicly available dataset consisting of 6,905 thyroid ultrasound images was used in the study. The images were resized, normalized, and augmented using various data augmentation techniques. Eleven different deep learning architectures were trained for performance evaluation, including ResNet-50, EfficientNet-B4, ConvNeXt, Swin Transformer, DeiT, PVTv2, XCiT, CoaT, MobileViT, ConViT, and an original hybrid model, HuviT. Performance comparison was conducted using accuracy, precision, recall, F1-score, specificity, and ROC-AUC metrics. To enhance the transparency of model decisions, explainable AI (XAI) methods such as Grad-CAM, Score-CAM, and Attention Rollout were integrated. Results: Experimental results showed that the hybrid architecture ConViT model achieved the highest performance across all metrics (83.30% accuracy, 83.30% precision, 83.26% recall, 83.30% F1-score, 89.94% AUC). ConvNeXt (82.63% accuracy, 90.02% AUC) and DeiT (81.18% accuracy, 89.10% AUC) models also demonstrated high and competitive performance. The original hybrid model HuviT achieved 76.35% accuracy. XAI analyses confirmed that the decision mechanisms of the models were consistent with radiological examination. Conclusion: This study demonstrated that hybrid architectures combining CNN's local feature extraction capability with ViT's global context modeling capacity can achieve superior performance in thyroid ultrasound image analysis compared to pure architectures. The high and balanced success of the ConViT model, in particular, highlights the potential of such hybrid approaches as reliable tools in clinical decision support systems.
Benzer Tezler
- Bölütlenmiş histopatolojik görüntüler üzerinde derin öğrenme yöntemiyle kolon kanseri tespiti
Detecting colon cancer using deep learning on segmented histopathological images
ULAŞ YURTSEVER
Doktora
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HAYRETTİN EVİRGEN
- Optik koherens tomografi ve retinal fundus görüntüleri kullanılarak çok sınıflı ve çok etiketli göz hastalıklarının derin öğrenme tabanlı sınıflandırılması
Deep learning-based multi-class and multi-label classification of ocular diseases using optical coherence tomography and retinal fundus images
MUHAMMED HALİL AKPINAR
Doktora
Türkçe
2025
Elektrik ve Elektronik MühendisliğiFırat ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ABDULKADİR ŞENGÜR
- Single-frame and multi-frame super-resolution on remote sensing images via deep learning approaches
Derin öğrenme yaklaşımlarıyla uzaktan algılama görüntülerinde tek çerçeve ve çok çerçeve süper çözünürlük
PEIJUAN WANG
Doktora
İngilizce
2022
İletişim Bilimleriİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Çocuk akciğer x-ışını görüntülerinin derin öğrenme yöntemleri ile analizi
Analysis of child lung x-ray images with deep learningmethods
ÇAĞDAŞ ŞİMŞEK
Doktora
Türkçe
2025
Fizik ve Fizik Mühendisliğiİstanbul ÜniversitesiFizik Ana Bilim Dalı
PROF. DR. SUAT ÖZKORUCUKLU
- An automated convolutional neural network model for the detection of brain tumours using MRI images
Başlık çevirisi yok
RAWAA ABAID MAHAL MAHAL
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiBilişim Teknolojileri Ana Bilim Dalı
PROF. DR. OSMAN NURİ UÇAN