Çok sınıflı medikal görüntü sınıflandırması için melez derin öğrenme yaklaşımları
Hybrid deep learning approaches for the multi class medical image classification
- Tez No: 901033
- Danışmanlar: DR. ÖĞR. ÜYESİ GÖNÜL ULUDAĞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Fatih Sultan Mehmet Vakıf Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 64
Özet
Bu tez çalışması, farklı özelliklere sahip kan hücrelerinin sınıflandırılması için derin öğrenme (ing: deep learning) mimarileri, meta-sezgisel (ing: meta-heuristic) yaklaşımları, boyut azaltma yöntemleri ve ağaç tabanlı sınıflandırma algoritmalarının birlikte kullanıldığı melez bir çerçeve uygulamasıdır. Bu çalışma, Residual Network (ResNet) ResNet18 ve ResNet34 gibi derin öğrenme mimarilerinin, covariance matrix adaptation evolution strategy (CMA-ES) ve particle swarm optimization (PSO) gibi meta-sezgisel yöntemlerin, principal component analysis (PCA), indepented component analysis (ICA), uniform manifold approximation and projection (UMAP) ve t-distributed stochastic neighbor embedding (t-SNE) gibi boyut indirgeme yaklaşımlarının ve Random Forest (RF), eXtreme gradient boosting (XGBoost) ve light gradient-boosting machine (LightGBM) gibi ağaç tabanlı algoritmalarının başarımlarının birlikte kullanıldığı melez bir çerçeve sunmaktadır. Yapılan çalışmalar, görüntü işleme çalışmalarında ResNet18 ve ResNet34 gibi derin öğrenme mimarilerinin oldukça başarılı olduğunu göstermiştir. Ayrıca yapılan literatür çalışmaları RF, XGBoost ve LightGBM gibi ağaç tabanlı algoritmalarının sınıflandırma başarımlarının oldukça yüksek olduğunu göstermektedir. Bu yaklaşımların başarımlarından yola çıkarak, ResNet18 ve ResNet34 yaklaşımları özniteliklerinin çıkarımında kullanılırken, ağaç tabanlı algoritmalar olan karar ağaçları ise sınıflandırma amacı ile kullanılmaktadır. Aynı zamanda geçmiş literatür çalışmaları göstermiştir ki, aykırı değerlerden arındırarak aşırı uyum (ing: over-fitting) probleminin önüne geçmek ve genelleştirme performansını arttırmak ve/veya hesaplama karmaşıklığını düşürmek amacı ile sınıflandırma öncesinde uygun öznitelik seçimi ve/veya boyut azaltma yaklaşımlarının kullaılması önem arz etmektedir. Bu bağlamda, derin öğrenme mimarisi ön-eğitim (ing: pre-train) aşamasından sonra meta-sezgisel algoritmalardan CMA-ES ve PSO algoritmaları özniteliklerin seçilmesi amacı ile ve PCA, ICA, UMAP ve t-SNE gibi boyut indirgeme algoritmaları farklı kombinasyonlarda kullanılarak sınıflandırma performansı üzerindeki etkileri araştırılmıştır. Bu tez çalışmasında önerilen melez yöntemlerin başarımı MedMNIST veri kümesinde bulunan, 8 adet farklı kan hücrelerinin bulunduğu BloodMNIST veri kümesi kullanılmıştır. Makine öğrenimi yöntemlerinin başarımının hiper-parametre ayarlarına oldukça bağlı olduğu gerçeğinden yola çıkarak her aşamada ResNet mimarisine; RF, Xgboost ve LightGBM sınıflandırıcılarına; CMA-ES ve PSO meta-sezgisellerine özgü hiper-parametreler seçilmiş ve bu parametrelerin en iyi değerleri belirlenmiştir. Bu tez çalışması kapsamında, en uygun melez çerçevenin belirlenmesi amacı ile, seçilen yaklaşımların farklı kombinasyonlarını içeren melez yöntemlere ait başarımları detaylı incelenmiştir. Bu bağlamda, deneysel çalışmalar 4 farklı melez yöntem üzerinde gerçeklenmiştir. Uygulanan ilk melez çerçeve, BloodMNIST verisine ait öznitelikler ResNet mimarileri kullanılarak ön-eğitim aşamasından geçirilerek çıkarılmıştır. Çıkarılan bu öznitelikler kullanılarak kan hücrelerinin sınıflandırılması için RF, XGBoost ve LightGBM algoritmalarının başarımları araştırılmıştır. Bu incelemede, LightGBM sınıflandırıcı başarımının diğerlerinden daha iyi olduğu görülmüştür. Çalışmadaki ikinci melez çerçeve, hesaplama karmaşıklığını düşürmek ve/veya aykırı değerlerden arındırarak genelleştirilmiş başarımı arttırmak amacı ile ResNet ve sınıflandırıcı ara katmanına boyut indirgeme yöntemleri eklenerek başarıma olan etkileri araştırılmıştır. Yapılan analizler, PCA ve ICA algoritmalarının başarıyı arttırdığını gösterirken UMAP ve t-SNE algoritmalarının başarımı düşürdüğü gözlemlenmiştir. Üçüncü melez çerçeve, daha seçkin özniteliklerin elde edilebilmesi amacıyla ResNet ve sınıflandırıcı ara katmanına ek olarak öznitelik seçme amacı ile meta-sezgisel yaklaşımlar uygulanarak başarıma olan etkileri araştırılmıştır. Yapılan analizler, meta-sezgisel algoritmalarının özellikle hiper-parametre optimizasyonundan sonra başarımı arttırdığı gözlemlenmiştir. CMA-ES ve PSO yöntemleri arasından en yüksek başarım PSO algoritması ile elde edilmiştir Çalışmada uygulanan dördüncü melez çerçevede ise, meta-sezgisel algoritmalarla elde edilen başarıyı artırmak amacıyla meta-sezgisel ve sınıflandırıcı ara katmanına boyut indirgeme algoritmaları uygulayarak sonuçlar üzerindeki etkileri incelenmiştir. Yapılan analizler, meta-sezgisel ve boyut indirgeme algoritmalarının birlikte kullanılmasının başarımı düşürdüğünü gösterirken, en iyi özniteliklerin meta-sezgisel yaklaşımlar ile seçilmesinin başarımı arttırdığını göstermiştir. Bu tez çalışması, ResNet mimarisi ile elde edilen ön-eğitim seti üzerinden PSO gibi meta-sezgisel yaklaşımlar ile elde edilen özniteliklerin LightGBM gibi ağaç-tabanlı yaklaşımlar ile melez kullanımının sınıflandırma başarımını iyileştirdiğini göstermiştir. Bu melez çerçeve, farklı derin öğrenme mimarilerine, öznitelik seçme amacı ile farklı meta-sezgisel yöntemlerin, farklı boyut indirgeme yaklaşımlarının ve farklı sınıflandırma yaklaşımlarının birlikte kullanılabileceği bir yapı sunmaktadır.
Özet (Çeviri)
This thesis presents a hybrid framework that combines deep learning architectures, meta-heuristic approaches, dimensionality reduction methods, and tree-based classification algorithms for the classification of blood cells with different characteristics. The study incorporates deep learning architectures such as Residual Network (ResNet), including ResNet18 and ResNet34, meta-heuristic methods such as covariance matrix adaptation evolution strategy (CMA-ES) and particle swarm optimization (PSO), dimensionality reduction methods like principal component analysis (PCA), independent component analysis (ICA), uniform manifold approximation and projection (UMAP), and t-distributed stochastic neighbor embedding (t-SNE), along with tree-based algorithms like Random Forest (RF), eXtreme gradient boosting (XGBoost), and light gradient-boosting machine (LightGBM). Research has shown that deep learning architectures such as ResNet18 and ResNet34 are highly effective in image processing tasks. Furthermore, literature studies indicate that tree-based algorithms like RF, XGBoost, and LightGBM achieve very high classification performances. Building on the success of these approaches, the ResNet18 and ResNet34 models are used for feature extraction, while tree-based algorithms such as decision trees are employed for classification. Additionally, past literature demonstrates that appropriate feature selection and/or dimensionality reduction approaches are important in mitigating overfitting, enhancing generalization performance, and/or reducing computational complexity before classification. In this context, after the pre-training stage of the deep learning architecture, meta-heuristic algorithms like CMA-ES and PSO are used for feature selection, and dimensionality reduction algorithms such as PCA, ICA, UMAP, and t-SNE are used in different combinations to investigate their effects on classification performance. The performance of the proposed hybrid methods is evaluated using the BloodMNIST dataset, which contains eight different types of blood cells from the MedMNIST dataset. Acknowledging that the performance of machine learning methods heavily depends on hyperparameter settings, specific hyperparameters were selected for the ResNet architecture, RF, XGBoost, LightGBM classifiers, and CMA-ES and PSO meta-heuristics, and the best values for these parameters were determined. In this thesis, the performance of hybrid methods, incorporating different combinations of the selected approaches, was thoroughly examined to determine the most suitable hybrid framework. In this context, experimental studies were conducted on four different hybrid methods. The first hybrid framework involved extracting features from the BloodMNIST dataset using ResNet architectures during the pre-training stage, followed by investigating the classification performance of RF, XGBoost, and LightGBM algorithms using these extracted features. In this examination, it was observed that the LightGBM classifier outperformed the others. The second hybrid framework investigated the effects of adding dimensionality reduction methods between the ResNet and classifier layers to reduce computational complexity and/or remove outliers to improve generalization performance. The analysis showed that PCA and ICA algorithms improved performance, while UMAP and t-SNE algorithms decreased it. In the third hybrid framework, meta-heuristic approaches were applied between the ResNet and classifier layers for feature selection to obtain more refined features, and their effects on performance were examined. The analysis revealed that meta-heuristic algorithms, particularly after hyperparameter optimization, improved performance. Among CMA-ES and PSO methods, the highest performance was achieved with the PSO algorithm. In the fourth hybrid framework, meta-heuristic algorithms were combined with dimensionality reduction algorithms between the meta-heuristic and classifier layers to further enhance performance. The analysis showed that using meta-heuristic and dimensionality reduction algorithms together decreased performance, while selecting the best features using meta-heuristic approaches improved classification performance. This thesis demonstrates that hybrid use of feature extraction through ResNet architectures, feature selection with meta-heuristic approaches such as PSO, and classification with tree-based approaches such as LightGBM improves classification performance. The hybrid framework offers a structure that can incorporate various deep learning architectures, different meta-heuristic methods for feature selection, diverse dimensionality reduction approaches, and different classification methods.
Benzer Tezler
- Kanser sınıflandırması için hibrit modeller: Konvolüsyonel sinir ağlarının transformatörlerle birleştirilmesi
Hybrid models for cancer classification: Combining convolutional neural networks with transformers
FIEZ HUSSEIN KHLEAF
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ŞAHİN EMRAH
- Vascular segmentation of brain MR angiography images using convolutional neural networks
Evrişimsel sinir ağları kullanarak beyin MR anjiyografi görüntülerinin vasküler segmentasyonu
YUSUF HÜSEYİN ŞAHİN
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. GÖZDE ÜNAL
- Weakly supervised approaches for image classification in remote sensing and medical image analysis
Uzaktan algılama ve tıbbi görüntü analizinde zayıf denetimli görüntü sınıflandırma yaklaşımları
BULUT AYGÜNEŞ
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SELİM AKSOY
DR. ÖĞR. ÜYESİ RAMAZAN GÖKBERK CİNBİŞ
- Medical image classification using convolutional neural network
Evrişimsel sinir ağları kullanılarak medikal görüntü sınıflandırılması
ENES ASANA
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara Yıldırım Beyazıt ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. FATİH VEHBİ ÇELEBİ
DR. ÖĞR. ÜYESİ AYŞE KELEŞ
- Machine learning techniques for surface electromyography based hand gesture recognition
Yüzey elektromiyografi temelli el jesti tanıma için makine öğrenmesi teknikleri
ENGİN KAYA
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. TUFAN KUMBASAR