Robustness and resilience of deep neural networks
Derin öğrenme ağlarının sağlamlığı ve dayanıklılığı
- Tez No: 792603
- Danışmanlar: PROF. DR. MEHMET ALPER ŞEN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 67
Özet
Derin Sinir Ağları (DNN), bilgisayar görüşü, doğal dil işleme ve konuşma tanımadaki zorlu sorunları çözmek için yaygın olarak kullanılmaktadır. Bununla birlikte, rakip saldırılar gibi son araştırmalar, DNN'lerin performansını sağlamak için yüksek doğruluğun yeterli olmadığını göstermektedir. Ek olarak, uç cihazlarda DNN modellerinin kullanılması, DNN modelindeki bit hatalarına karşı yüksek dayanıklılık gerektirir. Bu nedenle, sağlamlık ve esneklik iyileştirme yöntemleri gereklidir. Ancak bu yöntemleri bir arada ele alan bir çalışma bulunmamaktadır. Bu tezde, sağlamlık ve dayanıklılık iyileştirme yöntemlerinin dayanıklılık ve sağlamlık üzerindeki etkisini karşılaştırıyor ve analiz ediyoruz. Sağlamlık ve dayanıklılık iyileştirme yöntemlerinin temsilcileri olarak rakip eğitim ve bit hatası eğitimini kullanıyoruz. Ayrıca rakip eğitimi ve bit hatası eğitimini birleştirip yeni bir öğrenme yöntemi, rakip ve bit hatası eğitimi sunuyoruz. Sağlamlık için, eğitilmiş dört DNN modelinin test doğruluğunu ve sağlam doğruluğunu karşılaştırıyoruz. Dayanıklılık için, dört eğitimli DNN modelinin farklı bit hata oranlarıyla rastgele bit hatalarına karşı performansını karşılaştırıyoruz. Sonuçlar, dayanıklılık geliştirme yöntemlerinin sağlamlığı iyileştirdiğini, sağlamlık geliştirme yönteminin ise rakip eğitim ile eğitilen modellerin test doğruluğundaki düşüş nedeniyle dayanıklılığın azalmasına neden olabileceğini göstermektedir. Eğitim sırasında kayıp fonksiyonu içinde birden fazla bit hata oranı kullanan bir dayanıklılık iyileştirme yöntemi olan çoklu bit hata eğitimi (MBET) sunuyoruz. MBET'i normal eğitim ve bit hatası eğitimine karşı iki veri kümesinde dört farklı DNN modeliyle test ediyoruz. Sonuçlar, MBET'in normal eğitime kıyasla dayanıklılığı ve sağlamlığı geliştirdiğini göstermektedir.
Özet (Çeviri)
Deep Neural Networks (DNN) are used extensively to solve challenging problems in computer vision, natural language processing, and speech recognition. However, recent studies such as adversarial attacks show that high accuracy is not enough to ensure the performance of DNNs. Additionally, deployment of DNN models on edge devices requires high resilience against bit errors in the DNN model. Therefore, robustness and resilience improvement methods are necessary. However, there is no study that discusses these methods together. In this thesis, we compare and analyze the effect of robustness and resilience improvement methods on resilience and robustness, respectively. We use adversarial training and bit error training as representatives of robustness and resilience improvement methods. We also introduce adversarial and bit error training, a combined training method of adversarial training and bit error training. For robustness, we compare test accuracy and robust accuracy of four trained DNN models. For resilience, we compare the performance against random bit errors with different bit error rates of four trained DNN models. The results show that resilience improvement methods improve the robustness, while the robustness improvement method can cause a decrease in resilience due to the test accuracy drop of models trained with adversarial training. We propose multiple bit error training (MBET), a resilience improvement method that utilizes more than 1-bit error rates inside the loss function during the training. We test MBET with four different DNN models on two datasets against normal training and bit eror training. The results show that MBET improves resilience and robustness compared to normal training.
Benzer Tezler
- Derin sinir ağlarının (DSA) hızlı çıkarım ve hata dayanıklılık analizi için fpga uygulaması
Fpga implementation of deep neural networks (DNNS) for fast inference and error resilience analysis
UĞUR BERK ÇELİK
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik MühendisliğiSabancı ÜniversitesiElektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖMER CEYLAN
- Detection of DDOS attack in IoT networks using deep learning technologies
Derin öğrenme teknolojileri kullanılarak IoT ağlarında DDOS saldırılarının tespiti
SAJA EMAD JUMAAH JUMAAH
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SEFER KURNAZ
- Fault diagnosis in smart grids using artificialintelligence techniques
Akilli şebekelerde yapay zeka teknikleriyleariza teşhisi
AHMED SAMI KHAIRULLAH ALHANAF
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HASAN HÜSEYİN BALIK
PROF. DR. MURTAZA FARSADI
- Applications of artificial intelligence for the security of networks
Ağ güvenliği için yapay zeka uygulamalari
SELEN GEÇGEL ÇETİN
Doktora
İngilizce
2025
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. GÜNEŞ ZEYNEP KARABULUT KURT
- Kablosuz haberleşme ağlarında makine öğrenmesi tabanlı kanal kestirimi
Machine learning based channel estimation for wireless communication networks
SEKOU J MASSALAY
Yüksek Lisans
Türkçe
2025
Elektrik ve Elektronik MühendisliğiManisa Celal Bayar ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. İLHAN BAŞTÜRK