Geri Dön

Adversarial robustness and generalization

Hasmane dayanıklılık ve genelleşme

  1. Tez No: 812747
  2. Yazar: DUYGU SERBES
  3. Danışmanlar: DR. ÖĞR. ÜYESİ İNCİ MELİHA BAYTAŞ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: Boğaziçi Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 82

Özet

Derin öğrenme ağlarının hasmane ataklara karşı hassas ve kırılgan olduğuna dair bulgular derin öğrenmede bu ataklara karşı güçlü modellere ihtiyacı ortaya koymuştur. Hasmane eğitim, bu tür saldırılara karşı savunmada en etkili yaklaşımlardan biri olarak kabul edilir. Ancak, dayanıklılık ve genelleme arasında bir denge sağlamak, hasmane eğitimin temel bir zorluğudur. Ayrıca hasmane eğitiminde genelleme yeteneği, atakların belirli örüntülere ezberlemesine sebep olabileceğinden kullanılan atakların çeşitliliğinden etkilenir. Öte yandan daha güçlü saldırılar sağlamlığı arttırsa da, temiz görüntülerin sınıflandırılmasında performans düşüşüne neden olabilir. Bu tezde hasmane eğitiminin başarısını etkileyen faktörler incelenerek bu faktörleri destekleyecek çözümler önerilir. Bu bağlamda atak yönünü birden fazla yönde çoğaltan ve fazladan geri yayılım operasyonu gerektirmeyen bir hasmane eğitim yöntemi önermekteyiz. Bu hasmane eğitim yaklaşımı, öz nitelik saçılma olarak bilinen hasmane eğitimden esinlenilerek, atak yönü eğitim kümesindeki atağa uğramış örnekler arasındaki mesafeye dayanarak belirlenir. Ana hasmane yönden maksimum 45 derece olacak şekilde yeni hasmane yönleri elde edilir. Çeşitli popüler veri kümelerinde yapılan deneysel sonuçlar, bu yöntemin doğal doğruluğu kaybetmeden hasmane dayanıklılık doğruluğunu tutarlı bir şekilde artırdığını göstermektedir. Ayrıca, bu tezde litarütürde genelleşme konusunda başarı sağlamış yöntemler hasmane eğitim yönteminin geliştirilmesi amacıyla incelenmiştir. Bu bağlamda, mixup ve kaydırmaya dayanıklılık yaklaşımlarının önerilen hasmane eğitim yöntemi ile birleştirilmesi önerilmektedir. Önerilerimiz, hasmane eğitimde veri temsilinin kalitesini arttırmayı ve modelleri küçük kaydırmalara karşı duyarsız hale getirerek genelleme performansının yanı sıra hasmane dayanıklılığını da art- trmayı amaçlamaktadır. Önerilerimizin etkinliği beyaz kutu saldırılarına karşı değerlendirilmiştir.

Özet (Çeviri)

In light of recent discoveries regarding adversarial attacks, the necessity for robust models in deep learning has become increasingly critical. Adversarial training is considered one of the most effective approaches to defending against such attacks. However, a key challenge of it is the trade-off between adversarial robustness and generalization. The generalizability of robust models in adversarial training is affected by the diversity of perturbations, as they can overfit if the model only learns a limited attack pattern. Although stronger attacks can enhance robustness, their use may cause performance drops when classifying natural images. This thesis investigates the factors that affect the success of adversarial training and proposes solutions to mitigate some of these factors by utilizing new attack augmentation and generation methods. In that regard, we propose an adversarial training method that enhances adversarial directions by augmenting them from a one-step attack. The proposed framework is inspired by the feature scattering adversarial training and generates a principal adversarial direction based on the distance of the inter-sample relationships in a perturbed mini-batch. The principal direction is augmented by sampling new adversarial directions in a 45-degree region from it. The proposed method does not necessitate additional backpropagation steps than feature scattering. Experimental results on popular benchmark datasets indicate that the method consistently improves adversarial robustness without sacrificing natural accuracy. Furthermore, in this thesis, we propose integrating generalization-boosting techniques, namely mixup and shift-invariance, into the adversarial training framework. The proposed techniques aimto improve the data representations and robustness of models through convex data augmentation and by making the models invariant to small shifts. The effectiveness of our proposals is evaluated under white-box attacks on benchmark datasets.

Benzer Tezler

  1. Adversarial robustness for deep metric learning

    Derin metrik öğrenmesi için hasmane dayanıklılık

    EZGİ PAKET

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ İNCİ MELİHA BAYTAŞ

  2. Hand gesture recognition via CNN-LSTM neural networks and EMG signals

    CNN-LSTM sinir ağları ve EMG sinyalleri ile el hareketi tanıma

    ZAHRAA GHALIB HADI SAWAFI

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ BURCU TUNÇ ÇAMLIBEL

  3. Synthesization and reconstruction of 3d facesby deep neural networks

    Başlık çevirisi yok

    BARİS GECER

    Doktora

    İngilizce

    İngilizce

    2020

    BiyoteknolojiUniversity of London

    DR. STEFANOS ZAFEİRİOU

  4. Model robustness in data-scarce regimes and the effect of frequency perturbations

    Veri azlığında model gürbüzlüğü ve frekans karıştırmanın etkileri

    MEHMET KERİM YÜCEL

    Doktora

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. PINAR DUYGULU ŞAHİN

    DR. ÖĞR. ÜYESİ RAMAZAN GÖKBERK CİNBİŞ

  5. Transfer learning for continuous control

    Sürekli kontrol için öğrenme aktarımı

    SUZAN ECE ADA

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    PROF. DR. HÜSEYİN LEVENT AKIN