Defending against distillation-based model stealing attacks
Damıtma yöntemi ile model çalma ataklarına karşı savunma
- Tez No: 896451
- Danışmanlar: DOÇ. DR. HACER YALIM KELEŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 69
Özet
Bilgi Damıtma (BD), karmaşık bir öğretmen ağından basit bir öğrenci ağına temel becerilerin aktarılmasını sağlayarak daha yüksek doğruluk sağlar. Ayrıca, BD, düşmancıl çalma saldırıları aracılığıyla öğretmen ağının işlevselliğinin kopyalanmasının hedeflendiği model hırsızlığı senaryolarında kullanılır. Stingy Teacher modelinden etkilenen son araştırmalar, seyrek çıktıların öğrenci model etkinliğini önemli ölçüde azaltabileceğini ortaya koymuştur. Bu çalışma, öğretmenin çıktılarını koruyan ve entelektüel mülkiyet hırsızlığı riskini azaltan Nasty Teacher konseptinden esinlenerek, CIFAR10, CIFAR100 ve Tiny-Imagenet verisetleri kullanarak, bir öğretmen model eğitme tekniği sunmaktadır. Öğretmenin öğrencilere karşı savunmalarını güçlendirmek için, bu strateji düşmancıl örneklerin seyrek çıkrıları ile orijinal eğitim verilerini benzersiz bir şekilde birleştirir. Yeni bir kayıp fonksiyonu olan Exponential Predictive Divergence (EPD), bu yaklaşımda modelin çıktılarını manipüle etmek için kullanılır ve uygulanırken doğruluğu azaltmaz. Bu strateji, modelin düşmancıl ve orijinal görüntülere verdiği yanıtlar arasındaki EPD kayıp fonksiyonunu etkin bir şekilde azaltarak, ağın performansı üzerinde neredeyse hiç negatif etkisi olmadan düşmacıl çıktıların üretilmesini sağlar.
Özet (Çeviri)
Knowledge Distillation (KD) allows a complex teacher network to pass on its skills to a simpler student network, improving the student's accuracy. However, KD can also be used in model theft, where adversaries try to copy the teacher network's performance. Influenced by the“Stingy Teacher”model, recent research has shown that sparse outputs can greatly reduce the student model's effectiveness and prevent model theft. This work, using the CIFAR10, CIFAR100, and Tiny-Imagenet datasets, presents a way to train a teacher that protects its outputs, inspired by the“Nasty Teacher”concept, to prevent intellectual property theft. To enhance the teacher's defenses, this method mixes sparse outputs from adversarial images with original training data. Additionaly, a new loss function, the Exponential Predictive Divergence (EPD) loss, is introduced to hide the model's outputs without reducing accuracy. This method effectively reduces the EPD loss between the model's responses to adversarial and clean images, allowing the creation of adversarial logits without harming the network's performance.
Benzer Tezler
- Desteklenmiş derin kazılarda oluşan hareketlerin incelenmesi
An Investigation on deformation behavior of supported deep excavations
BÜLENT HATİPOĞLU
- Sodyum perborat kristalizasyonunun stokiometrik ve stokiometrik olmayan şartlarda incelenmesi
Investigation of crystallization of sodium perborate at stoichiometric and non-stoichiometric conditions
G.YILDIZ YÜKSEL
- Adaçayı yağının püskürtmeli kurutucu ile enkapsülasyonuna taşıyıcı malzemelerin etkisi
The effects of different combination of wall materials to encapsulation of clary sage oil with spray dryer
ESRA AYTEMUR
Yüksek Lisans
Türkçe
2017
Gıda Mühendisliğiİstanbul Teknik ÜniversitesiGıda Mühendisliği Ana Bilim Dalı
DOÇ. DR. NEŞE ŞAHİN YEŞİLÇUBUK
- Platin ve paladyum çözümlendirme ve Pt-Pd alaşımlarından saf metal üretimi
Platinum and palladium dissolving and production of pure metals from Pt-Pd alloys
YASEMİN KILIÇ
Yüksek Lisans
Türkçe
2014
Metalurji Mühendisliğiİstanbul Teknik ÜniversitesiMetalurji ve Malzeme Mühendisliği Ana Bilim Dalı
PROF. DR. SERVET İBRAHİM TİMUR