Tahmin modellerinin performans karşılaştırmasında karar eğrisi analizinin kullanımı
Use of decision curve analysis in performance comparison of prediction models
- Tez No: 945389
- Danışmanlar: DOÇ. DR. İLKER ÜNAL
- Tez Türü: Doktora
- Konular: Biyoistatistik, Biostatistics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Çukurova Üniversitesi
- Enstitü: Sağlık Bilimleri Enstitüsü
- Ana Bilim Dalı: Biyoistatistik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 98
Özet
Tahmin modellerinin performans karşılaştırmasında son yıllarda yeni bir performans metriği olarak Net Fayda değerleri sıklıkla kullanılmaktadır. Literatürde iki tahmin modelinden hesaplanan Net Fayda değerlerinin istatistik olarak karşılaştırılması için önerilmiş bir z testi yer almaktadır. Ancak bu yöntem ile ikiden fazla net fayda değerini ikili olarak karşılaştırmak toplam karşılaştırma sayısının artmasına dolayısıyla Tip 1 hata olasılığının yükselmesine yol açacaktır. Bu gerekçelerle bu çalışmada; ikiden fazla Net Fayda değerinin eşzamanlı karşılaştırılmasını sağlayacak bir yaklaşım önerilmiştir. Öneride ilk adımda yeniden-örnekleme ile sahte (pseudo) Net Fayda değerleri elde edilmiş, daha sonra da bu değerlerin dağılım bilgisine göre ANOVA veya Kruskal Wallis (KW) testlerinin kullanılabilirliği incelenmiştir. Tezde önerilen yaklaşımın başarısını göstermede, açık kaynaklardan elde edilen gerçek veri setleri ve farklı senaryolara göre üretilmiş veri setleri kullanılmıştır. Gerçek veri olarak Pima ve Prostat verileri kullanılmıştır. Simülasyon çalışması için toplam gözlem sayıları, açıklayıcı değişkenler için ortalama vektör, varyans kovaryans matrisi ve modele ait betaların farklılık gösterdiği 4 senaryo oluşturulmuştur. Tahmin modellerinden ise; Karar Ağacı, Destek Vektör Makinesi ve Lojistik Regresyon kullanılmıştır. Bu tez çalışmasında, önerilen yaklaşım ile literatürde bulunan yaklaşım, tahmin modelleri arasındaki Net Fayda farkını tespit edilebilme başarısı yönünden değerlendirilmiş ve bu değerlendirmede etki büyüklüğü değerlerinden faydalanılmıştır. Tahmin modellerinin Net Fayda değerlerini karşılaştırmada varsayımlarının sağlanmadığı durumlarda bile dayanıklı yapısı nedeniyle bu tezde önerilen ANOVA yaklaşımı en iyi sonuçları vermiştir. Bu nedenle ikiden fazla tahmin modelinin performanslarını eş zamanlı karşılaştırmada yeniden-örneklemeli ANOVA yaklaşımının kullanılması önerilmektedir.
Özet (Çeviri)
In recent years, the performance of prediction models has been increasingly evaluated using Net Benefit values. In the extant literature, a z test has been proposed for the statistical comparison of Net Benefit values calculated from two predictive models. However, it should be noted that employing this method for the comparison of more than two net benefit values obtained from predictive models will result in an increase in the total number of comparisons and, consequently, an increase in the probability of Type 1 error. Consequently, this study proposes an approach that facilitates the concurrent evaluation of multiple Net Benefit values. In the initial step of the proposal, pseudo Net Benefit values were obtained by resampling, and then the usability of ANOVA or Kruskal-Wallis (KW) tests was examined according to the distribution of these values. To illustrate the efficacy of the proposed approach, this study utilizes real data sets obtained from open sources and data sets generated under various scenarios. The Pima and Prostate data sets were utilized as authentic data. For the simulation study, four scenarios were created in which the total number of observations, the mean vector for explanatory variables, the variance-covariance matrix, and the betas of the model differ. Decision Tree, Support Vector Machine, and Logistic Regression were selected as prediction models. The proposed approach and the approach found in the literature were evaluated in terms of the success of detecting the Net Benefit difference between the prediction models. Effect size values were used in this evaluation. The analysis revealed that the ANOVA approach proposed in this study yielded the most optimal outcomes due to its robust design, even in scenarios where the assumptions of the estimation models were not met when comparing the Net Benefit values. Consequently, it is recommended to employ the resampling ANOVA approach for the purpose of comparing the performance of more than two estimation models concurrently.
Benzer Tezler
- Multiparametrik MR görüntüleme ve biparametrik MR görüntüleme temelli radyomiks analiz ile klinik anlamlı prostat kanserinin noninvaziv tahmini
The performance of multiparametric and biparametric MRI-based radiomics models in the noninvasive prediction of clinically significant prostate cancer
SELAHATTİN DURMAZ
Tıpta Uzmanlık
Türkçe
2024
Radyoloji ve Nükleer Tıpİstanbul ÜniversitesiRadyoloji Ana Bilim Dalı
DOÇ. DR. MERVE GÜLBİZ DAĞOĞLU KARTAL
- Enflasyonun çeşitli ekonometrik modeller kullanılarak ölçülmesi ve tahmin performanslarının karşılaştırılması
Analyzing inflation by using various econometric models and comparison of their forecast performances
PINAR KAYA SAMUT
- Derin öğrenme ile cerrahi video anlama
Surgical video understanding with deep learning
ABDISHAKOUR ABDILLAHI AWALE ABDISHAKOUR ABDILLAHI AWALE
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilişim Sistemleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DUYGU SARIKAYA
- Sentiment-driven forecasting of short-term asset price directions using large language models
Büyük dil modelleri kullanarak varlık fiyatlarının kısa vadeli yönlerinin duygu odaklı tahmini
AHMET BERKAY GÜLTEKİN
Yüksek Lisans
İngilizce
2025
Mühendislik Bilimleriİstanbul Teknik ÜniversitesiVeri Mühendisliği ve İş Analitiği Ana Bilim Dalı
PROF. DR. ALP ÜSTÜNDAĞ
- Synthetic net imbalance volume generation in balancing market with markov chain approach
Markov zincir yaklaşımı ile dengeleme güç piyasasında sentetik net dengesizlik hacmi üretimi
BİLGE DİLARA İSKEÇELİ
Yüksek Lisans
İngilizce
2021
Enerjiİstanbul Teknik ÜniversitesiEnerji Bilim ve Teknoloji Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BURAK BARUTÇU