Comparative study of federated learning for credit risk assessment and fairness evaluation
Federe öğrenmenin karşılaştırmalı çalışması: Kredi risk değerlendirmesi ve adalet ölçümü
- Tez No: 959215
- Danışmanlar: PROF. DR. BEHÇET UĞUR TÖREYİN, DR. RUŞEN HALEPMOLLASI
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Bilimleri Bilim Dalı
- Sayfa Sayısı: 131
Özet
Son yıllarda veri gizliliği ve güvenliği gereksinimlerinin ve farkındalığın artmasıyla, verilerin merkezi sunucularda toplanıp işlenmesi giderek zorlayıcı hale gelmiştir. Bu konuda hem kullanıcılar daha bilinçli hale gelmiştir hem de devletler kanunlar ile vatandaşlarının kişisel verilerini koruyucu önlemler almıştır. Bu noktada federe öğrenme yaklaşımı, yerel cihazlarda kullanıcıdan toplanan hassas verilerin merkezi bir sunucuya veya günümüz teknolojisi ile bir bulut sunucusuna aktarılmasına gerek kalmadan makine öğrenmesi modelleri geliştirilmesine olanak sağlar. Bu yaklaşım özellikle sağlık, finans ve IoT gibi alanlarda gelecek vaad etmektedir. Böylece kullanıcının hassas verilerinin sahibinin kontrolünden çıkmasını engellerken makine öğrenimi modellerinin geliştirilmesine imkân sağlanmış olur. Buna ek olarak giderek maliyetli hale gelen iletişim yükünü tüm veriler yerine sadece eğitilmiş makine öğrenmesi model parametrelerini merkezi sunucu ile paylaşarak azaltmayı hedefler. Makine öğrenmesinin yenilikçi bir yaklaşımı olan federe öğrenmesi günlük hayat sorunlarımıza çözüm getirirken bir diğer yaşanan sorun ise bu modellerdeki adalet sorunudur. İdeal bir durumda makine öğrenmesi sistemlerinin aldığı kararların çeşitli demografik gruplar için adaletli ve tarafsız olması gerekmektedir. Bir makine öğrenmesi modelinin ne kadar adil olduğunu ise“equal opportunity difference”(EOD) gibi metrikler ile cinsiyet, ırk veya yaş gibi hassas öznitelikler üzerinde belirliyoruz. Adil olmayan bir modelin ürettiği sonuçlar kurumların etnik ve yasak sorunlar ile yüzleşmesine sebebiyet verebilir ve uzun vadede kullanıcılarının güvenini sarsabilir. Buna örnek olarak bir banka müşterilerinin deri renginden bağımsız bir şekilde kredi skorunu tahmin etmelidir veya bir işe alım sürecinde işe alınacak adayın belirlenmesi konusunda cinsiyet bir önyargı oluşturmamalıdır. Bunlara ek olarak finans sektörü genel olarak kredi skoru tahmini, sahtekârlık tespiti ve portföy optimizasyonu gibi uygulamalarda makine öğrenimine yoğun şekilde bel bağlamaktadır ve ödeme geçmişi ve demografik bilgiler gibi son derece hassas verileri model eğitiminde kullanılmaktadır. Son yıllarda yaşanan dijital dönüşüm bu süreçleri hem hızlandırmış hem de dolandırıcılık araçlarının kolayca erişilebilir olması nedeniyle yeni güvenlik ve adalet gereksinimlerini gündeme getirmiştir. Yaptığımız bu çalışmada ise müşterilerin ham verilerini paylaşmadan kredi kartı temerrütlerini tahmin eden bir federated learning tabanlı risk modeli geliştirdik. Geliştirilen modeller merkezi makine öğrenimi yöntemleri ile FedAvg ve geliştirdiğimiz FedF1 federe yaklaşımları arasında performans karşılaştırması yapıldı.Buna ek olarak FairFed yaklaşımını ve EOD metriğini kullanarak adalet performansını detaylı biçimde analiz ettik. Çalışmamızda yaptığımız deneylerin hem sonuçlarını hem de tutarlılığını daha iyi gösterebilmek adına üç farklı veriseti kullanılmıştır; Default of Credit Card Clients (DCCC), Home Credit Default Risk (HCDR) ve Home Equity (HMEQ). DCCC veriseti UCI ML Repository'den elde edilmiştir, Nisan–Eylül 2005 dönemine ait 30.000 kredi kartı müşterisinin geri ödeme kayıtlarını içerir. Toplam 23 bağımsız öznitelik bulunurken 5 tanesi demografik hassas bilgiler içerir (yaş, cinsiyet, eğitim, medeni durum vb.). Veriseti ikili olarak kodlanmış olup, %22,12 oranında temerrüt (1) ve %77,88 oranında sorunsuz geri ödeme (0) vakası barındırır. HCDR ise 307.511 eğitim ve 48.744 test örneği olmak üzere toplam 356.255 kredi başvurusu içerir. Bu veriseti de cinsiyet, eğitim, aile durumu gibi çeşitli hassas bilgiler içermektedir. Hedef değişkeni üzerinden ölçülen temerrüt oranı %8,07'dir ve bu da HCDR'yi en yoğun veri dengesizliği yaşanan veriseti yapmaktadır. Son olarak kullanılan Home Equity (HMEQ) veriseti ise toplamda 5.960 ipotekli konut kredisi kaydından oluşur ve 12 öznitelik barındırır. ancak bu özniteliklerden hiç birinde hassas veri yoktur. Veriseti %19,95 oranında temerrüt (BAD=1) ve %80,05 oranında başarılı ödeme vakası içerir. Kullandığımız verisetleri için uygulanan ön işleme adımlarında veri ölçekleme (StandardScaler, MinMaxScaler), kategorik değişkenlerin kodlanması için One-Hot Encoding ve dengesiz sınıf dağılımını dengelemek amacıyla SMOTE ile Sentetik Azınlık Aşırı Örnekleme ve RandomUnderSampler (RUS) yöntemleri kullanıldık. Ayrıca boyut indirgeme ve özellik seçimi için Temel Bileşen Analizi (PCA) ve Select k-Best yöntemleriyle veri karmaşıklığı ve öznitelik sayısı azalttık. Kullanılan makine öğrenimi modelleri; parametrik lineer yaklaşımlar sunan Lojistik Regresyon (LR), çok katmanlı yapay sinir ağlarıyla çalışan Çok Katmanlı Algılayıcı (MLP), kernel tabanlı SVM, gradyan artırmalı XGBoost (XGB) ve ansamble tabanlı Rastgele Orman (RF) olmak üzere beş farklı algoritmayı kapsamaktadır. Federe öğrenme ile merkezi makine öğrenmesi modellerini karşılaştırdığımız deneyimizde Flower framework'ün DirichletPartitioner bileşeni kullanılarak, $\alpha$ parametresi aracılığıyla veri heterojenitesinin ayarlandı ve 5 istemci arasında non-IID veri dağılımı oluşturuldu. Burada amaç, bahsettiğimiz 3 verisetini de mümkün olduğunca gerçek hayat senaryosuna benzetmektir. Her bir istemcinin veri kümesi, yerel gizliliği korumak amacıyla yalnızca o istemcinin verisini kapsayacak şekilde %70 eğitim, %10 doğrulama ve %20 test alt kümelerine ayrıldı. Ayrıca bu adımda ön işleme (ölçekleme, kodlama, örnekleme) işlemleri yalnızca istemci bazında uygulandı. Kurduğumuz bu yapı sayesinde farklı etiket oranlarına sahip gerçek dünya non-IID senaryolarını başarıyla simüle ederek yatay FL'nin temel prensipleri doğrultusunda hem model performansı karşılaştırılmış oldu. Çalışmamızda yaptığımız diğer bir deney olan adalet deneyi için ise DCCC verisetini 5 istemci arasında cinsiyet hassas özniteliği üzerinde önceden belirlediğimiz oranlara göre böldük. Burada amacımız farklı oranlardaki veri dengesizliğinin nasıl adaleti etkileyeceğini görmekti. Yaptığımız çalışmada federe öğrenme altyapısı, açık kaynaklı Flower framework (flwr) kullanılarak simüle edilmiş ve yatay FL senaryosu, beş istemcinin her birinin kendi verisi üzerinde bağımsız eğitim yapıp model parametrelerini sunucuya iletmesi esasına dayanacak şekilde uygulanmıştır. Buna göre her turda istemciler yerel modellerini kendi verileri ile eğitip güncel ağırlıkları sunucuya gönderir; sunucu gelen tüm ağırlıkları toplar ve küresel modeli güncelleyen bir agregasyon işlemi uygular. Ardından güncellenen küresel modeli tekrar istemcilere iletir. Bu döngü belirlenen iterasyon sayısı kadar devam eder. Agregasyon adımında en yaygın yöntem olan Federated Averaging (FedAvg), her bir istemcinin yerel ağırlık güncellemelerini, o istemcinin eğitimde kullandığı örnek sayısına orantılı olarak ağırlıklandırıp toplar. Buna ek olarak, dengesiz veri setlerinde performans tutarlılığını artırmak amacıyla bu çalışmada geliştirdiğimiz F1 Score Weighted Aggregation (FedF1) yöntemi, her istemciden dönen ve istemcinin kendi doğrulama veriseti ile elde ettiği F1 skorlarını küresel F1 skoru toplamına oranlayarak küresel modeli oluşturur. Bu sayede, yüksek F1 skoruna sahip istemcilerin model güncelleme sürecindeki etkinliği artırılarak genel performans dengesi iyileştirilmektedir. Çalışmamızda yaptığımız ilk deney olan performans karşılaştırması deneyinde, üç farklı finansal veri seti (DCCC, HCDR, HMEQ) üzerinde işlenen veriler; dengesizlik sorununu çözmek için SMOTE ve RUS örnekleme yöntemlerine, boyut indirgemeyi sağlamak üzere PCA ve kBest özellik seçimine tabi tutuldu; beş makine öğrenimi algoritması (Lojistik Regresyon, Çok Katmanlı Algılayıcı, Destek Vektör Makineleri, XGBoost, Rastgele Orman) hem merkezi ML (CML) hem de iki federated learning agregasyon yöntemi (FedAvg, FedF1) çerçevesinde karşılaştırıldı. Her veriseti model, ön işleme ve agregasyon kombinasyonu ile 135 deney (toplamda 405) yapıldı. Her bir deney, sonuçların tekrarlanabilirlik ve güvenilirliğini arttırmak için 10'ar kez farklı random seed sayıları ile test edildi. Elde edilen sonuçlar doğruluk, kesinlik, duyarlılık ve F1 metrikleri kullanılarak merkezi ve federe öğrenme yaklaşımlarının performans sonuçları değerlendirildi. Çalışmamızda yaptığımız ikinci deney olan adalet ölçümü deneyinde ilk olarak DCCC verisetinde adalet etkisini daha net bir biçimde gösterebilmek adına“Interest”özniteliği Gauss dağılımlarından türetilerek ekledik ve bu sayede cinsiyetin model çıktıları üzerindeki etkisi suni olarak daha bariz olmasını sağladık. 5 istemciden her birinin farklı derecede non-IID ve adaletsizlik barındırması adına %20/80'den %70/30'a kadar değişen önceden belirlenmiş cinsiyet oranlarına göre manuel olarak ayırdık. Ancak her istemci yine kendi veriseti ile rastgele train-test ve validation olarak ayırdı. Bu deneyde adalet performansının etkisinin iyileşmesi için kullandığımız FairFed yaklaşımının etkisinin daha iyi görülmesi adına 3 farklı senaryo kullandık; Local, Merkezi ve Federe. Local yaklaşımda her istemci, yalnızca kendi verisiyle model ve cinsiyet adaleti ilişkisini ölçerek eğitim ve değerlendirme yaptı. Merkezi yaklaşımda ise tüm istemcilerin kullandığı training veri seti ortak bir havuzda birleştirildi ancak her istemci kendi yerel verisiyle test yaptı. Son olarak federe öğrenme yaklaşımında ise yine federe öğrenme mantığı izlenildi ancak agregasyon kısmı için FairFed kullanıldı. Yaptığımız deneyler sonucunda ilk olarak vardığımız bulgu, federe öğrenme yöntemlerinin veri gizliliğini korurken aynı zamanda merkezi makine öğrenmesi yöntemleriyle büyük ölçüde benzer veya bazen daha iyi sonuçlar verdiğidir. Kendi geliştirdiğimiz FedF1 agregasyon yöntemi FedAvg ile karşılaştırıldığında eşdeğer veya daha yüksek değerler elde ederken model varyansını da en düşük seviyeye indirmiştir. Model varyansının düşük olması FedF1'nın modeller arasında daha tutarlı sonuçlar ürettiğini göstermektedir. Bunun yanında modellere eklenen SMOTE yöntemi genel olarak duyarlılık ve F1 skorunu arttırırken doğruluk ve kesinlik değerlerini düşürmüştür. RUS yöntemi ise veri dengesizliği olduğu durumda denge sağladığından F1 skorunda ve doğrulukta artış sağlamıştır. PCA ve kBest gibi boyut indirgeme yöntemleri ise kimi durumlarda karmaşıklığı azalttığı için performans artışı sağlarken kimi durumlarda veri kaybına yol açtığından performans kaybına sebep olmuştur. Bunun yanında model bazlı karşılaştırmalarda ise genel olarak en başarılı sonuçlara sırasıyla XGB, RF ve LR modellerinin ulaştığı söylenebilir. Adalet analizi deneylerinde ise FairFed yöntemi, Yerel yaklaşımın ortalama EOD değerinin %0.1444'ten federe senaryosunda %0.0283'e indirerek %80'in üzerinde iyileşme sağlamıştır. Bu durum demografik gruplar arası adaletsizliği anlamlı biçimde azaltmaktadır. FairFed ayrıca modelde adaleti sağlamaya çalışırken aynı zaman model performansında da merkezi yaklaşım kadar iyi sonuç vermiştir. Çalışmamızın özgün katkıları şunlardır; Merkezi ML yöntemleriyle rekabet ederken veri gizliliğini koruyan, kredi kartı temerrüt tahmini için yeni bir FL tabanlı yaklaşım geliştirdik. Her ML modeli için toplam 405 deneyde üç veri kümesiyle hem merkezi hem de federasyonlu yaklaşımlar altında beş ML algoritmasının kapsamlı bir karşılaştırma yaptık. FedAvg'a alternatif olarak geliştirdiğimiz, her turdaki F1 skorlarını ağırlıklandırarak küresel güncellemeyi optimize eden FedF1 algoritmasını sunduk. EOD temelli ağırlıklı adalet optimizasyonu sunan FairFed metodolojisiyle model çıktılarında grup adaletini sağladık ve deneylerimizle kapsamlı analiz yaptık. Tüm deney altyapısını ve kodlarını GitHub'da açık kaynak olarak erişime sunduk.
Özet (Çeviri)
In this study, we proposed a horizontal federated learning based risk model study for credit card default prediction for data privacy requirements and fairness issues. In finance, healthcare and IoT fields where data collection on central servers is becoming increasingly difficult, information sharing is provided by sharing model parameters while user sensitive data remains on the local device. In addition, thanks to federated learning, communication load is reduced by sharing only model parameters instead of sharing all data. We used three different datasets in our studies. These are Default of Credit Card Clients (DCCC) dataset containing 30,000 samples, 23 features and 22.1\% default rate; Home Credit Default Risk (HCDR) dataset containing 356,255 samples, 122 features and 8.1\% default rate; and Home Equity (HMEQ) dataset containing 5,960 samples, 12 features and 19.9\% default rate. In the preprocessing phase of the datasets; scaling with StandardScaler and MinMaxScaler, categorical coding with One-Hot Encoding, SMOTE and RandomUnderSampler for imbalance, PCA and Select-kBest for feature reduction were applied. In addition, five machine learning algorithms were compared for our experiments: Logistic Regression, Multilayer Perceptron, SVM, XGBoost and Random Forest. We built the Federated Learning infrastructure with Flower framework and created five clients with non-IID distribution based on $\alpha$ parameter using DirichletPartitioner in the simulation environment. Each client data was divided into 70\% training, 10\% validation and 20\% test subsets and local preprocessing was performed. We designed 2 experiments in our study; performance comparison and fairness analysis. In our first experiment, we conducted experiments with different combinations of model, data sampling and feature reduction methods for each data set. This means that a total of 405 different experiments were conducted for three data sets, and each experiment was repeated 10 times to increase the consistency of the experiments and the results were averaged. Here, we tested the performance of the F1 Score Weighted Aggregation method, which we developed as an alternative to FedAvg. According to the results we obtained, aggregation methods generally achieved good or similar results compared to the central method and at the same time protected data privacy. In addition, FedF1 gave good results that could compete with FedAvg and in some cases, it performed better, allowing more consistent results to be produced with lower variance. For our fairness analysis experiment, we created the gender-dependent“Interest”feature on DCCC. Accordingly, we distributed the data as non-IID among five clients with different gender ratios. In our fairness experiments, we used three different scenarios to make the results easier to understand; Local, Central and FairFed. In these scenarios, the deviations from Local to Central and FairFed with the Equal Opportunity Difference (EOD) metric were 0.1444, 0.1332 and 0.0283, indicating an increase in fairness of over 80\%.
Benzer Tezler
- Finans alanında veri mahremiyeti yöntemleri: Federe öğrenme ve sentetik veri üretimi
Data privacy methods in finance: Federated learning and synthetic data generation
ELİF ÖZCAN
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
- Comparative study of privacy-preserving techniques in federated learning
Federasyonel öğrenimde gizliliği koruyan tekniklerin karşılaştırmalı çalışması
NESRINE BEN TAMAGOULT DIT MONGAR
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
Assoc. Prof. OKAN YAŞAR
- Utilization of federated learning for ıot device security
Iot cihaz güvenliği için federe öğrenmenin kullanimi
LATİFE İLAYDA IŞIN
Yüksek Lisans
İngilizce
2025
Elektrik ve Elektronik MühendisliğiAtılım ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. YASER DALVEREN
- Federated learning with uncertainty for different tasks
Farklı görevler için belirsizliği kullanan birleşik öğrenme
YEKTA OLGUN ÖZER
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖZGÜR ERKENT
- Makine öğrenmesi modellerinde yanlılıkla mücadele: Federe öğrenme yaklaşımları
Mitigating bias in machine learning models: Federated learning approaches
HAVANUR DERVİŞOĞLU
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET FATİH AMASYALI