Adversarial robustness and generalization
Hasmane dayanıklılık ve genelleşme
- Tez No: 812747
- Danışmanlar: DR. ÖĞR. ÜYESİ İNCİ MELİHA BAYTAŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 82
Özet
Derin öğrenme ağlarının hasmane ataklara karşı hassas ve kırılgan olduğuna dair bulgular derin öğrenmede bu ataklara karşı güçlü modellere ihtiyacı ortaya koymuştur. Hasmane eğitim, bu tür saldırılara karşı savunmada en etkili yaklaşımlardan biri olarak kabul edilir. Ancak, dayanıklılık ve genelleme arasında bir denge sağlamak, hasmane eğitimin temel bir zorluğudur. Ayrıca hasmane eğitiminde genelleme yeteneği, atakların belirli örüntülere ezberlemesine sebep olabileceğinden kullanılan atakların çeşitliliğinden etkilenir. Öte yandan daha güçlü saldırılar sağlamlığı arttırsa da, temiz görüntülerin sınıflandırılmasında performans düşüşüne neden olabilir. Bu tezde hasmane eğitiminin başarısını etkileyen faktörler incelenerek bu faktörleri destekleyecek çözümler önerilir. Bu bağlamda atak yönünü birden fazla yönde çoğaltan ve fazladan geri yayılım operasyonu gerektirmeyen bir hasmane eğitim yöntemi önermekteyiz. Bu hasmane eğitim yaklaşımı, öz nitelik saçılma olarak bilinen hasmane eğitimden esinlenilerek, atak yönü eğitim kümesindeki atağa uğramış örnekler arasındaki mesafeye dayanarak belirlenir. Ana hasmane yönden maksimum 45 derece olacak şekilde yeni hasmane yönleri elde edilir. Çeşitli popüler veri kümelerinde yapılan deneysel sonuçlar, bu yöntemin doğal doğruluğu kaybetmeden hasmane dayanıklılık doğruluğunu tutarlı bir şekilde artırdığını göstermektedir. Ayrıca, bu tezde litarütürde genelleşme konusunda başarı sağlamış yöntemler hasmane eğitim yönteminin geliştirilmesi amacıyla incelenmiştir. Bu bağlamda, mixup ve kaydırmaya dayanıklılık yaklaşımlarının önerilen hasmane eğitim yöntemi ile birleştirilmesi önerilmektedir. Önerilerimiz, hasmane eğitimde veri temsilinin kalitesini arttırmayı ve modelleri küçük kaydırmalara karşı duyarsız hale getirerek genelleme performansının yanı sıra hasmane dayanıklılığını da art- trmayı amaçlamaktadır. Önerilerimizin etkinliği beyaz kutu saldırılarına karşı değerlendirilmiştir.
Özet (Çeviri)
In light of recent discoveries regarding adversarial attacks, the necessity for robust models in deep learning has become increasingly critical. Adversarial training is considered one of the most effective approaches to defending against such attacks. However, a key challenge of it is the trade-off between adversarial robustness and generalization. The generalizability of robust models in adversarial training is affected by the diversity of perturbations, as they can overfit if the model only learns a limited attack pattern. Although stronger attacks can enhance robustness, their use may cause performance drops when classifying natural images. This thesis investigates the factors that affect the success of adversarial training and proposes solutions to mitigate some of these factors by utilizing new attack augmentation and generation methods. In that regard, we propose an adversarial training method that enhances adversarial directions by augmenting them from a one-step attack. The proposed framework is inspired by the feature scattering adversarial training and generates a principal adversarial direction based on the distance of the inter-sample relationships in a perturbed mini-batch. The principal direction is augmented by sampling new adversarial directions in a 45-degree region from it. The proposed method does not necessitate additional backpropagation steps than feature scattering. Experimental results on popular benchmark datasets indicate that the method consistently improves adversarial robustness without sacrificing natural accuracy. Furthermore, in this thesis, we propose integrating generalization-boosting techniques, namely mixup and shift-invariance, into the adversarial training framework. The proposed techniques aimto improve the data representations and robustness of models through convex data augmentation and by making the models invariant to small shifts. The effectiveness of our proposals is evaluated under white-box attacks on benchmark datasets.
Benzer Tezler
- Adversarial robustness for deep metric learning
Derin metrik öğrenmesi için hasmane dayanıklılık
EZGİ PAKET
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İNCİ MELİHA BAYTAŞ
- Hand gesture recognition via CNN-LSTM neural networks and EMG signals
CNN-LSTM sinir ağları ve EMG sinyalleri ile el hareketi tanıma
ZAHRAA GHALIB HADI SAWAFI
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BURCU TUNÇ ÇAMLIBEL
- Model robustness in data-scarce regimes and the effect of frequency perturbations
Veri azlığında model gürbüzlüğü ve frekans karıştırmanın etkileri
MEHMET KERİM YÜCEL
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. PINAR DUYGULU ŞAHİN
DR. ÖĞR. ÜYESİ RAMAZAN GÖKBERK CİNBİŞ
- Transfer learning for continuous control
Sürekli kontrol için öğrenme aktarımı
SUZAN ECE ADA
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
PROF. DR. HÜSEYİN LEVENT AKIN