Tahmin modellerinin performans karşılaştırmasında karar eğrisi analizinin kullanımı
Use of decision curve analysis in performance comparison of prediction models
- Tez No: 945389
- Danışmanlar: DOÇ. DR. İLKER ÜNAL
- Tez Türü: Doktora
- Konular: Biyoistatistik, Biostatistics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Çukurova Üniversitesi
- Enstitü: Sağlık Bilimleri Enstitüsü
- Ana Bilim Dalı: Biyoistatistik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Tahmin modellerinin performans karşılaştırmasında son yıllarda yeni bir performans metriği olarak Net Fayda değerleri sıklıkla kullanılmaktadır. Literatürde iki tahmin modelinden hesaplanan Net Fayda değerlerinin istatistik olarak karşılaştırılması için önerilmiş bir z testi yer almaktadır. Ancak bu yöntem ile ikiden fazla net fayda değerini ikili olarak karşılaştırmak toplam karşılaştırma sayısının artmasına dolayısıyla Tip 1 hata olasılığının yükselmesine yol açacaktır. Bu gerekçelerle bu çalışmada; ikiden fazla Net Fayda değerinin eşzamanlı karşılaştırılmasını sağlayacak bir yaklaşım önerilmiştir. Öneride ilk adımda yeniden-örnekleme ile sahte (pseudo) Net Fayda değerleri elde edilmiş, daha sonra da bu değerlerin dağılım bilgisine göre ANOVA veya Kruskal Wallis (KW) testlerinin kullanılabilirliği incelenmiştir. Tezde önerilen yaklaşımın başarısını göstermede, açık kaynaklardan elde edilen gerçek veri setleri ve farklı senaryolara göre üretilmiş veri setleri kullanılmıştır. Gerçek veri olarak Pima ve Prostat verileri kullanılmıştır. Simülasyon çalışması için toplam gözlem sayıları, açıklayıcı değişkenler için ortalama vektör, varyans kovaryans matrisi ve modele ait betaların farklılık gösterdiği 4 senaryo oluşturulmuştur. Tahmin modellerinden ise; Karar Ağacı, Destek Vektör Makinesi ve Lojistik Regresyon kullanılmıştır. Bu tez çalışmasında, önerilen yaklaşım ile literatürde bulunan yaklaşım, tahmin modelleri arasındaki Net Fayda farkını tespit edilebilme başarısı yönünden değerlendirilmiş ve bu değerlendirmede etki büyüklüğü değerlerinden faydalanılmıştır. Tahmin modellerinin Net Fayda değerlerini karşılaştırmada varsayımlarının sağlanmadığı durumlarda bile dayanıklı yapısı nedeniyle bu tezde önerilen ANOVA yaklaşımı en iyi sonuçları vermiştir. Bu nedenle ikiden fazla tahmin modelinin performanslarını eş zamanlı karşılaştırmada yeniden-örneklemeli ANOVA yaklaşımının kullanılması önerilmektedir.
Özet (Çeviri)
In recent years, the performance of prediction models has been increasingly evaluated using Net Benefit values. In the extant literature, a z test has been proposed for the statistical comparison of Net Benefit values calculated from two predictive models. However, it should be noted that employing this method for the comparison of more than two net benefit values obtained from predictive models will result in an increase in the total number of comparisons and, consequently, an increase in the probability of Type 1 error. Consequently, this study proposes an approach that facilitates the concurrent evaluation of multiple Net Benefit values. In the initial step of the proposal, pseudo Net Benefit values were obtained by resampling, and then the usability of ANOVA or Kruskal-Wallis (KW) tests was examined according to the distribution of these values. To illustrate the efficacy of the proposed approach, this study utilizes real data sets obtained from open sources and data sets generated under various scenarios. The Pima and Prostate data sets were utilized as authentic data. For the simulation study, four scenarios were created in which the total number of observations, the mean vector for explanatory variables, the variance-covariance matrix, and the betas of the model differ. Decision Tree, Support Vector Machine, and Logistic Regression were selected as prediction models. The proposed approach and the approach found in the literature were evaluated in terms of the success of detecting the Net Benefit difference between the prediction models. Effect size values were used in this evaluation. The analysis revealed that the ANOVA approach proposed in this study yielded the most optimal outcomes due to its robust design, even in scenarios where the assumptions of the estimation models were not met when comparing the Net Benefit values. Consequently, it is recommended to employ the resampling ANOVA approach for the purpose of comparing the performance of more than two estimation models concurrently.
Benzer Tezler
- Ovulasyon indüksiyonu tedavisinde folliküler gelişimin ultrasonografik takibi
Başlık çevirisi yok
MERİH BAYRAM
Tıpta Uzmanlık
Türkçe
1987
Kadın Hastalıkları ve DoğumGazi ÜniversitesiKadın Hastalıkları ve Doğum Ana Bilim Dalı
DOÇ. DR. MÜLAZIM YILDIRIM
- Landsat uydusu aracılığı ile elde edilen görüntülerin sınıflandırılmaları ve bunlara ilişkin bilgisayar programlarının hazırlanması
Başlık çevirisi yok
G. FERZAN KÜÇÜKA
Yüksek Lisans
Türkçe
1985
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. DR. HALİS PÜSKÜLCÜ
- Dokuma kumaşlarda örgü tipinin ham kumaşın boyutları ve geometrik özellikleri üzerindeki etkilerinin araştırılması
Başlık çevirisi yok
EMEL ÖNDER
Yüksek Lisans
Türkçe
1985
Tekstil ve Tekstil MühendisliğiEge ÜniversitesiTekstil Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÜNGÖR BAŞER
- Manisa yöresinde domateste anlaşmalı tarım ve karşılaşılan sorunlar
Başlık çevirisi yok
OSMAN MURAT KOÇTÜRK
Yüksek Lisans
Türkçe
1985
Gıda MühendisliğiEge ÜniversitesiTarım Ekonomisi Ana Bilim Dalı
PROF. DR. METİN TALİM
- Studies on the cuttability of rocks at O.A.L. Çayırhan district by laboratory cutting tests
Başlık çevirisi yok
KÜRŞAD CEYLAN
Yüksek Lisans
İngilizce
1987
Maden Mühendisliği ve MadencilikOrta Doğu Teknik ÜniversitesiMaden Mühendisliği Ana Bilim Dalı
DOÇ. DR. NACİ BÖLÜKBAŞI
- Adana ili, turunçgil toptan fiyatlarının analizi
Başlık çevirisi yok
USULET ÖZTUNÇ
Yüksek Lisans
Türkçe
1987
ZiraatÇukurova ÜniversitesiTarım Ekonomisi Ana Bilim Dalı
DOÇ. DR. OĞUZ YURDAKUL