Analyzing the impact of differential privacy on model convergence with federated learning
Federasyonlu öğrenme ile farklılaştırılmış gizliliğin model yakınsaması üzerindeki etkisinin analizi
- Tez No: 956634
- Danışmanlar: DR. ÖĞR. ÜYESİ ECE GELAL SOYAK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Computer Engineering and Computer Science and Control, Science and Technology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Yapay Zeka Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Federasyonlu Öğrenme (FL), Makine Öğrenimi (ML) model eğitiminin birden fazla istemci arasında merkeziyetsiz olarak yürütülmesini ve bu modellerin kullanıcıların akıllı cihazlarında çalışmasını mümkün kılar. Bu modeller, kötü niyetli veya adaletsiz amaçlarla kullanılabilecek büyük miktarda özel veri toplar. Farklilaştirilmiş Gizlilik (DP), kullanıcı verilerinin belirli bir düzeyde gizli kalmasını sağlar. Ancak DP uygulaması, modele eklenen gürültü nedeniyle model faydasında ciddi bir düşüşe neden olabilir. Bu çalışma, MNIST ve CIFAR-10 görüntü veri kümeleri üzerinde evrişimli sinir ağları (CNN) ve önceden eğitilmiş Artık Sinir Ağı (ResNet) modelleri kullanarak FL'de fayda-gizlilik dengelerini incelemektedir. Opacus kütüphanesi aracılığıyla DP uygulanmakta ve model faydasını artırmak amacıyla Temperlenmiş Sigmoid (TS) aktivasyon fonksiyonları kullanılmaktadır. Çalışmada, merkezi ve federatif ortamlarda, 5 ve 10 istemcili ağlar üzerinden farklı gizlilik bütçelerinde performans karşılaştırmaları yapılmıştır. Ayrıca, farklı optimizasyon algoritmalarının ve seyreltme katmanlarının FL DP ortamındaki model performansına etkisi değerlendirilmiştir. FL ortamında DP uygulanırken karşılaşılan bazı zorluklar vurgulanmıştır. Sonuçlarımız, 5 istemcili bir FL ortamında ε = 10 düzeyindeki gizlilik MNIST ve CIFAR-10 üzerinde sırasıyla %96.6 ve %55.9 doğruluk elde edilebileceğini göstermektedir. Ayrıca, TS aktivasyon fonksiyonunun, öğrenme aktarması kullanılan DP-FL modellerinde model doğruluğunu artırdığı gözlemlenmiştir.
Özet (Çeviri)
Federated Learning (FL) enables decentralizing Machine Learning (ML) model training across multiple clients allowing them to run on users smart devices. These models collect large amounts of private data that can be used for malicious or unfair acts. Differential Privacy (DP) is a method of ensuring users data stays private to some extent. The application of DP has a strong toll on model utility due to the added noise. This paper investigates the utility-privacy trade-offs in FL using convolutional neural networks (CNN) and pre-trained Residual Neural Network (ResNet) models training on MNIST and CIFAR-10 image datasets. We apply DP using the Opacus library and use Tempered Sigmoids (TS) activation functions to enhance the model utility. We compare performance under varying privacy budgets in centralized and federated settings across 5- and 10-clients networks. We further evaluate the effect of optimizers and dropout layers on utility in DP-FL models, and highlight some pitfalls encountered when applying DP in FL setting. Our results show that a privacy of (ε = 10) in FL with 5-clients can achieve accuracy of 96.6% and 55.9% on MNIST and CIFAR-10 respectively. Also the usage of TS activation function was shown to improve model's accuracy in a transfer learning DP-FL model.
Benzer Tezler
- The dilemma of U.S. foreign policy during the Arab Spring: From moralpolitik to realpolitik
Arap Baharı süresince Amerikan dış politikasının ikilemi: 'Moralpolitik'ten 'realpolitik'e
CAN DONDURAN
Doktora
İngilizce
2021
Uluslararası İlişkilerGalatasaray ÜniversitesiUluslararası İlişkiler Ana Bilim Dalı
PROF. DR. A. FÜSUN TÜRKMEN
- Mikrobilgisayar kullanarak tarım işletmesi analizi üzerine bir çalışma
Başlık çevirisi yok
BÜLENT MİRAN
- İhracatın sektörel analizine ilişkin fonksiyonel bir araştırma
Functional research on analysis of sectoral export
AYŞENUR TOPÇUOĞLU
- Test sınavlarının güvenirliğinin araştırılması ile ilgili bir çalışma
An Investigation on the reliability of multiple,choice examinations
CANDAN İĞCİ
Yüksek Lisans
Türkçe
1987
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. M. ÖZEL ERGEN
- Toz kakaoda tağşiş saptama metodları üzerinde çalışmalar
Başlık çevirisi yok
TOMRİS ALTUĞ
Doktora
Türkçe
1987
Gıda MühendisliğiEge ÜniversitesiGıda Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MERAL GÖNÜL