Advancing ROC curve modeling with information complexity for evaluating the performance of machine learning algorithms
Makine öğrenimi algoritmalarının performansını değerlendirmek için bilgi karmaşıklığıyla ROC eğrisi modelinin geliştirilmesi
- Tez No: 936531
- Danışmanlar: PROF. DR. NESLİHAN DEMİREL, PROF. DR. HAMPARSUM BOZDOGAN
- Tez Türü: Doktora
- Konular: İstatistik, Statistics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Dokuz Eylül Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: İstatistik Ana Bilim Dalı
- Bilim Dalı: İstatistik Bilim Dalı
- Sayfa Sayısı: 86
Özet
Performans metrikleri, bir modelin tahmin veya sınıflandırma doğruluğunu değerlendirmek için kullanılan ölçütlerdir. Ancak, her performans ölçütü farklı bir sınıflandırma yönünü vurguladığı için tek bir ölçüt yoktur. Bilgi kriterlerine dayalı model seçim prosedürleri, model karmaşıklığını uyum iyiliğiyle dengeleyen niceliksel bir ölçüm sunarak klasik yaklaşımlara kıyasla daha iyi bir alternatif sağlar. Bu tezde, Alıcı işlem karakteristiği (ROC) eğrisi modellerinin performansını değerlendirmek ve incelemek amacıyla ICOMP-ROC olarak kısaltılan yeni bir Bilgi Karmaşıklığı-Alıcı işlem karakteristiği yaklaşımı tanıtılmış ve geliştirilmiştir. ICOMP-ROC kriterini minimize ederek en iyi iki değişkenli dağılım ROC modelini seçmek amacıyla, on altı iki değişkenli dağılım ROC modelinin kombinasyonuna dayalı Evrensel ROC (UROC) türetilmiştir. Weibull-Gamma ve Normal-Normal dağılım çiftlerini sözde-gerçek dağılımlar olarak kabul ederek, on altı iki değişkenli dağılım ROC modelinden doğru olanları belirlemek amacıyla büyük ölçekli bir Monte Carlo simülasyon çalışması yürütülmüştür. ICOMP-ROC kriterinin simülasyon boyunca doğru modeli kaç kez seçtiği hesaplanmış ve önemli bir doğrulama oranı elde edilmiştir. İki değişkenli dağılıma ek olarak, diş implantı tedavisi gören bireylerin ortopantomografi (OPG) veri seti kullanılarak yaygın kullanılan performans metrikleri ve ICOMP-ROC kriterinin performansı çeşitli makine öğrenimi (ML) sınıflandırma algoritmaları kullanılarak değerlendirilmiştir. Veri kümesi, model performansını değerlendirmek amacıyla dengeli ve dengesiz alt kümelere ayrılmıştır. Her alt küme, hem tam veri kümesi kullanılarak hem de %80 eğitim - %20 test olarak bölünerek analiz edilmiştir. Bu çift yönlü yaklaşım, modelin hem kontrollü hem de gerçekçi koşullardaki dayanıklılığını kapsamlı bir şekilde değerlendirmeye olanak sağlamıştır. Veri setinin boyutunu azaltmak için Genetik Algoritma (GA) kullanarak en iyi özellik alt kümesi seçilmiş ve yeni önerilen ICOMP-ROC kriteri ile geleneksel performans metriklerinin performansları karşılaştırılmıştır. Uygun bir performans metriğinin seçimi yalnızca kullanılan makine öğrenimi (ML) modeline bağlı değildir; aynı zamanda giriş veri setlerinin karmaşıklığı ve yüksek boyutluluğu da önemli bir rol oynar. Geleneksel performans metrikleri farklı sonuçlar verebilir ve yapısal sınırlamalara sahiptir. Sayısal sonuçlarımız, ICOMP-ROC kriterinin geleneksel ROC performans metriklerine kıyasla daha tutarlı ve güvenilir olduğunu göstermektedir. Bu kriter, en iyi uyum sağlayan iki değişkenli dağılım ROC modelini ve değerlendirilen algoritmalar arasındaki en başarılı sınıflandırma modelini seçmede etkili bir yöntem sunmaktadır. Bu bulgular, mevcut yöntemleri bütünleştirerek daha sağlam hale getiren yeni önerilen yaklaşımımızın ROC eğrisi modellemesinde kullanışlı ve esnek bir çözüm sunduğunu ortaya koymaktadır.
Özet (Çeviri)
Performance metrics are measures of performance that can be used to evaluate how well a model makes accurate predictions or classifications. However, there is no single measure, since each performance metric emphasizes a different classification aspect. Model selection procedures based on information criteria offer a quantitative measure that balances model complexity with goodness of fit, providing a better alternative to classical approaches. In this thesis, we introduce and develop a novel Information Complexity-Receiver Operating Characteristic, abbreviated as ICOMP-ROC, criterion approach to fit and study the performance of ROC curve models. We construct and derive the Universal ROC (UROC) for the combination of sixteen Bi-distributional ROC models to choose the best Bi-distributional ROC by minimizing the ICOMP-ROC criterion. We conduct a large-scale Monte Carlo simulation study using the sixteen Bi-distributional ROC models with the Weibull-Gamma and Normal-Normal pairs as the pseudo-true ROC models. We report the frequency of hits of the ICOMP-ROC criterion, showing its remarkable recovery rate. In addition to Bi-distributional fitting, we consider orthopantomography (OPG) of individuals who underwent dental implant treatment dataset to study the performance of the common performance metrics and the ICOMP-ROC criterion using several machine learning (ML) classification algorithms. The dataset was divided into balanced and imbalanced subsets to evaluate model performance. Each subset was analyzed using both the full dataset and splitting it into training (80%), testing (20%) sets. This dual approach allowed for a comprehensive assessment of model robustness in both controlled and realistic conditions. We use the Genetic Algorithm (GA) to reduce the dimension of the dataset to choose the best subset of the features to study and compare the performance of the newly proposed ICOMP-ROC criterion along with the traditional performance metrics. The choice of a suitable metric is contingent upon not just the ML model used, but it also depends upon the complexity and high dimensionality of the input datasets, since the traditional performance metrics give different results and have inherent limitations. Our numerical results show the consistency and reliability of the ICOMP-ROC criterion over the traditional ROC performance metrics as a clever model selection criterion to choose the best fitting Bi-distributional ROC model and the best classification algorithm among the ones considered. This shows the utility and the versatility of our newly proposed approach in ROC curve modeling that integrates and robustifies currently used procedures.
Benzer Tezler
- Saldırı tespit sistemlerinde kullanılan makine öğrenmesi tekniklerinin performans analizi
Performance analysis of machine learning techniques used in attack detection systems
UFUK MURTAZA
Yüksek Lisans
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Aydın ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ZAFER ASLAN
- Karmaşık yüzeylerin işlenmesinde çok sensörlü çevrimiçi durum izleme ve kontrol
Multisensor on-line condition monitoring and control of complex surface machining
İNAYET BURCU TOPRAK
Doktora
Türkçe
2013
Makine MühendisliğiSüleyman Demirel ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA BAYHAN
YRD. DOÇ. DR. MEHMET FATİH ÇAĞLAR
- Acil servise başvuran kritik malignite hastalarında laktat ve diğer kan gazı parametrelerinin mortaliteyi öngörmede prognostik önemi
Prognostic importance of lactate and other blood gas parameters in predicting mortality in critically ill patients admitted to the emergency department
AHMET ERDUR
Tıpta Uzmanlık
Türkçe
2021
Anestezi ve ReanimasyonSağlık Bilimleri ÜniversitesiAcil Tıp Ana Bilim Dalı
DOÇ. DR. RAMAZAN GÜVEN
- Retrograd intrarenal cerrahi uygulanan hastalarda R.I.R.S. skorlama sisteminin postoperatif akut böbrek hasarı ile ilişkisi
Relationship of R.I.R.S. scoring system with postoperative acute kidney injury in patients undergoing retrograde intrarenal surgery
NURULLAH ALTINKAYA
Tıpta Uzmanlık
Türkçe
2024
ÜrolojiNecmettin Erbakan ÜniversitesiÜroloji Ana Bilim Dalı
PROF. DR. MEHMET MESUT PİŞKİN
- Comparison of federated learning frameworks for medical image domain
Medikal görüntü alanı için federe öğrenme çerçevelerinin karşılaştırılması
KENAN KOCADURDU
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolİZMİR BAKIRÇAY ÜNİVERSİTESİBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ADİL ALPKOÇAK