Validation of machine learning and deep learning models in credit scoring
Kredi skorlamasında makine öğrenmesi ve derin öğrenme modellerinin validasyonu
- Tez No: 917800
- Danışmanlar: PROF. DR. ŞÜKRÜYE TÜYSÜZ
- Tez Türü: Doktora
- Konular: Maliye, Finance
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Yeditepe Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Finansal İktisat Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 298
Özet
Bu tez çalışması, kredi skorlamasında kullanılan makine öğrenimi (ML) ve derin öğrenme (DL) modelleri için, model yaşam döngüsünün tüm aşamalarını kapsayan ve model risk yönetim çerçevesinin gereksinimleriyle uyumlu, kapsamlı bir validasyon çerçevesi sunmaktadır. Önerilen çerçeve, ML ve DL modellerinin yüksek tahmin performansını korurken, aynı zamanda bu modellerin kurumsal risk yönetim sistemlerine doğru bir şekilde entegrasyonunu sağlamaktadır. Geleneksel validasyon uygulamaları, çoğunlukla nicel doğrulamaya odaklanmakta ve bütüncül bir yaklaşım benimsememektedir. Bu durum,“kara kutu”doğasına sahip ML ve DL algoritmalarının doğrulanmasında önemli zorluklara yol açmaktadır. Bu çalışma, finans sektöründe gelişmiş yapay zekâ yöntemlerinin, özellikle de“kara kutu”algoritmalarının, sorumlu bir şekilde benimsenmesine olanak tanıyacak uygulanabilir bir validasyon çerçevesi sunmaktadır. 2015-2023 yılları arasında kredi skorlamasında ML ve DL modelleri üzerine yayınlanmış 150 makale incelenmiştir. Literatürde en sık kullanılan algoritmalar olan lojistik regresyon (geleneksel), destek vektör makineleri (ML), rastgele orman (topluluk ML) ve çok katmanlı algılayıcı (DL), LendingClub veri seti kullanılarak geliştirilmiş ve önerilen validasyon çerçevesi bu modeller üzerinde uygulanmıştır. LendingClub veri seti; yeterli örneklem boyutu, 10 yıllık ekonomik döngüyü kapsayan güncel tarihsel veri, uygun bir temerrüt oranı ve yeterli sayıda değişken içermektedir. Model performansları, karışıklık matrisi, kesinlik oranı, F1 skoru, doğruluk, Brier skoru, ROC eğrisi, Gini katsayısı ve SHAP metrikleri kullanılarak değerlendirilmiştir. Elde edilen bulgular, niteliksel doğrulamanın ve sürekli kullanım testlerinin (periyodik izleme de dahil olmak üzere) önemini güçlü bir şekilde vurgulamaktadır.
Özet (Çeviri)
This thesis presents a comprehensive validation framework for machine learning (ML) and deep learning (DL) models in credit scoring. The framework covers all stages of a model life cycle and aligns with the requirements of a model risk governance framework. It facilitates the proper integration of ML and DL models into enterprise risk management systems while maintaining high predictive performance. Traditional validation practices, which primarily focus on quantitative methods, often lack a holistic approach and struggle to validate ML and DL algorithms due to their black-box nature. By offering actionable guidelines, the proposed validation framework supports the responsible adoption of advanced AI methods, including black-box algorithms, within the financial industry. A review of 150 published papers on ML and DL models in credit scoring, covering the period from 2015 to 2023, was conducted. Subsequently, the most frequently used credit scoring algorithms—logistic regression (traditional), support vector machines (ML), random forest (ensemble ML), and multilayer perceptron (DL)—were selected for scoring model development and the implementation of the proposed validation framework using the LendingClub dataset. This dataset includes an adequate sample size, recent historical data spanning a 10-year economic cycle, an appropriate default rate, and a sufficient number of features. Model performance was evaluated using metrics such as the confusion matrix, precision ratio, F1 score, accuracy, Brier score, ROC curve, Gini coefficient, and SHAP values. Our findings highlight the importance of qualitative validation and ongoing use testing, including periodic monitoring.
Benzer Tezler
- Daily close price estimation for Exxonmobil and British Petroleum Corporations using machine learning and deep learning models: A pilot study
Exxonmobil ve British Petroleum Corporations için makine öğrenmesi ve derin öğrenme modelleri kullanarak günlük kapanış fiyatı tahmini: Bir pilot çalışma
AHMED YASEEN KHUDHUR
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBüyük Veri ve Veri Analitiği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÜNET EROĞLU
- A comparative analysis of deep learning architectures for breast cancer detection in ultrasound imaging
Ultrason görüntülemede meme kanserinin tespitine yönelik derin öğrenme mimarisinin karşılaştırmalı bir analizi
MUHAMMAD ARSALAN IRSHAD
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik MühendisliğiAntalya Bilim ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
Assist. Prof. Dr. YUSUF ÖZTÜRK
- Deprem sonrasında binaların hasar tespitinde kullanılan yapay öğrenme algoritmalarının analizi
Analysis of machine learning algorithms used in post-earthquake building damage assessment
SERHAT MÜRSEL KÖROĞLU
Yüksek Lisans
Türkçe
2025
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
DOÇ. DR. CANER GÜNEY
- Domates hastalıklarının sınıflandırılması için makine öğrenmesi ve derin öğrenme temelli yeni yaklaşımlar
New approaches to classification of tomato diseases based on machine learning and deep learning
HASAN ULUTAŞ
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolErciyes ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. VEYSEL ASLANTAŞ
- XAU/USD prıce predıctıon usıng deep learnıng: hyperparameter optımızatıon wıth bayesıan, grey-wolf and genetıc algorıthms
Derin öğrenme kullanarak XAU/USD fiyat tahmini: bayes, gri kurt ve genetik algoritmalarla hiperparametre optimizasyonu
MELİS KÜÇÜK
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
PROF. DR. FERHAN ÇEBİ