Geri Dön

Robustness and resilience of deep neural networks

Derin öğrenme ağlarının sağlamlığı ve dayanıklılığı

  1. Tez No: 792603
  2. Yazar: ABDULLAH MURAT BULDU
  3. Danışmanlar: PROF. DR. MEHMET ALPER ŞEN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: Boğaziçi Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 67

Özet

Derin Sinir Ağları (DNN), bilgisayar görüşü, doğal dil işleme ve konuşma tanımadaki zorlu sorunları çözmek için yaygın olarak kullanılmaktadır. Bununla birlikte, rakip saldırılar gibi son araştırmalar, DNN'lerin performansını sağlamak için yüksek doğruluğun yeterli olmadığını göstermektedir. Ek olarak, uç cihazlarda DNN modellerinin kullanılması, DNN modelindeki bit hatalarına karşı yüksek dayanıklılık gerektirir. Bu nedenle, sağlamlık ve esneklik iyileştirme yöntemleri gereklidir. Ancak bu yöntemleri bir arada ele alan bir çalışma bulunmamaktadır. Bu tezde, sağlamlık ve dayanıklılık iyileştirme yöntemlerinin dayanıklılık ve sağlamlık üzerindeki etkisini karşılaştırıyor ve analiz ediyoruz. Sağlamlık ve dayanıklılık iyileştirme yöntemlerinin temsilcileri olarak rakip eğitim ve bit hatası eğitimini kullanıyoruz. Ayrıca rakip eğitimi ve bit hatası eğitimini birleştirip yeni bir öğrenme yöntemi, rakip ve bit hatası eğitimi sunuyoruz. Sağlamlık için, eğitilmiş dört DNN modelinin test doğruluğunu ve sağlam doğruluğunu karşılaştırıyoruz. Dayanıklılık için, dört eğitimli DNN modelinin farklı bit hata oranlarıyla rastgele bit hatalarına karşı performansını karşılaştırıyoruz. Sonuçlar, dayanıklılık geliştirme yöntemlerinin sağlamlığı iyileştirdiğini, sağlamlık geliştirme yönteminin ise rakip eğitim ile eğitilen modellerin test doğruluğundaki düşüş nedeniyle dayanıklılığın azalmasına neden olabileceğini göstermektedir. Eğitim sırasında kayıp fonksiyonu içinde birden fazla bit hata oranı kullanan bir dayanıklılık iyileştirme yöntemi olan çoklu bit hata eğitimi (MBET) sunuyoruz. MBET'i normal eğitim ve bit hatası eğitimine karşı iki veri kümesinde dört farklı DNN modeliyle test ediyoruz. Sonuçlar, MBET'in normal eğitime kıyasla dayanıklılığı ve sağlamlığı geliştirdiğini göstermektedir.

Özet (Çeviri)

Deep Neural Networks (DNN) are used extensively to solve challenging problems in computer vision, natural language processing, and speech recognition. However, recent studies such as adversarial attacks show that high accuracy is not enough to ensure the performance of DNNs. Additionally, deployment of DNN models on edge devices requires high resilience against bit errors in the DNN model. Therefore, robustness and resilience improvement methods are necessary. However, there is no study that discusses these methods together. In this thesis, we compare and analyze the effect of robustness and resilience improvement methods on resilience and robustness, respectively. We use adversarial training and bit error training as representatives of robustness and resilience improvement methods. We also introduce adversarial and bit error training, a combined training method of adversarial training and bit error training. For robustness, we compare test accuracy and robust accuracy of four trained DNN models. For resilience, we compare the performance against random bit errors with different bit error rates of four trained DNN models. The results show that resilience improvement methods improve the robustness, while the robustness improvement method can cause a decrease in resilience due to the test accuracy drop of models trained with adversarial training. We propose multiple bit error training (MBET), a resilience improvement method that utilizes more than 1-bit error rates inside the loss function during the training. We test MBET with four different DNN models on two datasets against normal training and bit eror training. The results show that MBET improves resilience and robustness compared to normal training.

Benzer Tezler

  1. Derin sinir ağlarının (DSA) hızlı çıkarım ve hata dayanıklılık analizi için fpga uygulaması

    Fpga implementation of deep neural networks (DNNS) for fast inference and error resilience analysis

    UĞUR BERK ÇELİK

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Elektrik ve Elektronik MühendisliğiSabancı Üniversitesi

    Elektronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ÖMER CEYLAN

  2. Detection of DDOS attack in IoT networks using deep learning technologies

    Derin öğrenme teknolojileri kullanılarak IoT ağlarında DDOS saldırılarının tespiti

    SAJA EMAD JUMAAH JUMAAH

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş Üniversitesi

    Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. SEFER KURNAZ

  3. Learning efficient visual embedding models under data constraints

    Veri kısıtlamaları altında verimli görüntü gömme modelleri öğrenme

    MERT BÜLENT SARIYILDIZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. SELİM AKSOY

    YRD. DOÇ. DR. RAMAZAN GÖKBERK CİNBİŞ

  4. Deep learning-based keypoints driven visual inertial odometry for GNSS-denied flight

    Yapay sinir ağları tabanlı nokta çıkarıcılı görsel-ataletsel odometri ile GPS'siz ortamda uçuş

    ARSLAN ARTYKOV

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Uçak Mühendisliğiİstanbul Teknik Üniversitesi

    Uçak ve Uzay Mühendisliği Ana Bilim Dalı

    DOÇ. DR. EMRE KOYUNCU

  5. Dolgu duvarların asma katlı çerçeveli betonarme yapıların davranışı üzerindeki etkisi

    Effect of the infill wall of structure with mezzanine floor on structural behaviour

    VESSAM ALMANNAA

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    İnşaat MühendisliğiSakarya Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MUHAMMET ZEKİ ÖZYURT