Enhancing DNN test data selection through uncertainty-based and data distribution-aware approaches
Belirsizliğe dayalı ve veri dağılımına duyarlı yaklaşımlar yoluyla DNN testı veri seçiminin geliştirilmesi
- Tez No: 877848
- Danışmanlar: DOÇ. DR. ELİF SÜRER, DOÇ. DR. AYSU BETİN CAN
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Computer Engineering and Computer Science and Control, Science and Technology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Bilişim Sistemleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 153
Özet
Bu tezde, Derin Sinir Ağı (DNN) modellerindeki hataları ortaya çıkaran verileri belirlemek ve bu hataların nedenlerini tespit etmek için tasarlanmış bir test çerçevesi sunulmaktadır. DNNlerin veri odaklı doğası göz önüne alındığında, testlerin etkinliği etiketlenmiş test verilerinin yeterliliğine bağlıdır. Test verisi seçimi, test edilen DNN modelinde hatalara neden olacak test girdilerini belirleme ve önceliklendirme hedefiyle gerçekleştirildi. Bunu başarmak amacıyla modelin bir girdi için belirsizlik derecesinden faydalanıldı. İlk olarak, en ileri belirsizlik tahmin yöntemleri ve metrikleri kullanıldı, ardından yenileri önerildi. Son olarak, birden fazla belirsizlik metriğini birleştiren bir meta-model kullanan, metriklerin tek başına kullanımlarının sınırlamalarını aşan ve çeşitli senaryolarda etkinliği artıran yenilikçi bir yaklaşım geliştirildi. Test verisi dağılımı, DNN performansını önemli ölçüde etkilemekte ve test sonuçlarının değerlendirilmesinde kritik bir rol oynamaktadır. Bu nedenle, dağılım farkındalığına sahip bir perspektifle test veri setleri oluşturuldu. İlk olarak, DNN modelinin doğru tahmin yapması beklenen dağılım içi veriye odaklanılması ve ardından dağılım dışı (OOD) verinin dahil edilmesi önerildi. Ayrıca, yanlış tahminlerin nedenlerini belirlemek için sonradan açıklanabilirlik metodları incelendi. Görsel açıklama teknikleri, DNN'lerin yanlış karar verme nedenleri hakkında içgörüler sağlamaktadır ancak, bu detaylı bir manuel değerlendirme gerektirir. Önerilen metodolojiler, görüntü sınıflandırma DNN modelleri ve veri setleri kullanılarak değerlendirildi. Sonuçlar, belirsizliğe dayalı test seçiminin, hatayı ortaya çıkaran girdileri belirlemede etkili olduğunu göstermektedir. Özellikle, meta-model yaklaşımı ile yapılan önceliklendirme, en ileri yöntemlerden daha iyi performans sergilemektedir. Sonuç olarak, testlerde önceliklendirilmiş veri kullanmanın, DNN model hatalarını tespit etme oranını önemli ölçüde artırdığı sonucuna varılmıştır.
Özet (Çeviri)
In this thesis, we introduce a testing framework designed to identify fault-revealing data in Deep Neural Network (DNN) models and determine the causes of these failures. Given the data-driven nature of DNNs, the effectiveness of testing depends on the adequacy of labeled test data. We perform test data selection with the goal of identifying and prioritizing test data that will cause failures in the DNN. To achieve this, we leveraged the degree of uncertainty of the model for inputs. Initially, we employed state-of-the-art uncertainty estimation methods and metrics, then proposed new ones. Lastly, we developed a novel approach using a meta-model that integrates multiple uncertainty metrics, overcoming the limitations of individual metrics and enhancing effectiveness in various scenarios. The test data distribution significantly impacts DNN performance and is critical in assessing test results. Therefore, we generated test datasets with a distribution-aware perspective. We propose to first focus on in-distribution data for which the DNN model is expected to make accurate predictions and then include out-of-distribution (OOD) data. Furthermore, we investigated post-hoc explainability methods to identify the causes of incorrect predictions. Visualization explanation techniques provide insights into the reasons for incorrect decision-making by DNNs, however they require detailed manual assessment. We evaluated the proposed methodologies using image classification DNNs and datasets. The results show that uncertainty-based test selection effectively identifies fault-revealing inputs. Specifically, test data prioritization using the meta-model approach outperforms state-of-the-art methods. Consequently, we conclude that using prioritized data in tests significantly increases the detection rate of DNN model failures.
Benzer Tezler
- Energy-efficient hardware design of artificial neural networks for mobile platforms
Çok düşük eneri tüketen taşınabilir kullanıma uygun yapay sinir ağlarının donanım gerçeklemeleri
MAHMUT BURAK KARADENİZ
Doktora
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUSTAFA ALTUN
- Impact of stylization on deep face recognition networks using digital images
Dijital görüntüler kullanılarak derin yüz tanıma ağları üzerinde stilizasyonun etkisi
MOHAMMED BASIM MOHAMMED MOHAMMED
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ERKUT ARICAN
- Enhancing web accessibility using deep convolutional networks and natural language processing techniques
Derin evrımsel ağlar ve doğal dil işleme teknikleri kullanılarak web erişilebilirliğinin artırılması
MUHAMMAD KASHIF SHAIKH
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Aydın ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ JAWAD RASHEED
- Training memory-constrained deep learning models using automatic dataflow-graph partitioning
Başlık çevirisi yok
FAREED MOHAMMAD FAREED QARARYAH
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. DİDEM UNAT
- Development of IoT-based solar water heating system
Nesnelerin interneti tabanlı güneş enerjili su ısıtma sisteminin geliştirilmesi
HÜSEYİN GÖKALP
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAkdeniz ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MELİH GÜNAY