Derin sinir ağları için mutasyon tabanlı test kütüphanesi geliştirilmesi
Development of mutation based test library for deep neural networks
- Tez No: 956220
- Danışmanlar: DOÇ. DR. UĞUR YAYAN, PROF. DR. AHMET YAZICI
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Mühendislik Bilimleri, Computer Engineering and Computer Science and Control, Science and Technology, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Eskişehir Osmangazi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Yapay Zeka Bilim Dalı
- Sayfa Sayısı: 62
Özet
Derin Sinir Ağları (DNN), otonom araçlar ve üretken yapay zekâ sistemleri gibi birçok kritik alanda kullanılmaktadır. Otonom araçlar gibi kritik alanlarda kullanılan modellerin risklerden dolayı hatasız ve test edilmiş olarak kullanıma sunulmaları gerekmektedir. Özellikle kritik alanlarda kullanılan modeller için mutasyon testi hayati önem taşımaktadır. Mutasyon tabanlı test, DNN modellerinin karmaşık yapılarına mutasyonlar uygulanarak gerçekleştirilen, etkili bir test yöntemidir. Derin Mutasyon Modülü (DMM), DNN sistemlerinin test ihtiyacını karşılamak üzere geliştirilmiştir. DMM, mutasyon kütüphanesini aracılığıyla parametrelere özgü mutasyonlar ile DNN modellerinin mutasyon testine olanak tanır. Karmaşık DNN yapılarındaki hataların tespiti ve değerlendirilmesi, karmaşık ve devam eden bir çözüm gerektirmektedir. Bu tez kapsamında sunulan yaklaşım, mutasyonlar yoluyla modellerdeki hataları ve yapılandırma sorunlarını ortaya çıkarmaktadır. Hayatta kalan mutantlar üzerinden yapılan analizler, geliştiricilere modelin başarımını artırmaya yönelik önemli geri bildirimler sunmaktadır. Bu yöntem aracılığıyla test edilen modelin emniyeti mutasyon testleriyle ile analiz edilmektedir. Yapılan testler, elektrikli araç rotalaması için Pekiştirmeli Öğrenme (Reinforcement Learning) modeli, Dönüştürücü (Transformer) modeli ve prognostik tahminler için Uzun Kısa Süreli Bellek (Long Short-Term Memory) modeli dâhil olmak üzere üç farklı model türü için mutasyon testine odaklanmaktadır. LSTM modeline uygulanan mutasyon testleri sonucunda, sırasıyla 5, 10, 20 ve 30 dönem (epoch) için %96,61, %91,02, %71,19 ve %68,77 oranlarında mutasyon skorları kaydedilmiştir. RL modeli testlerinde üç farklı veri seti için mutasyon skorları 78,23%, 78,20% ve 70,83% olarak elde edilmiştir. Dönüştürücü modeli testlerinde sırasıyla 5,10 ve 20 dönem için %75,87, %76,36 ve %74,93 başarım skoru alınan üç model testinden 66,8%, 73,3% ve 64,9% mutasyon skoru elde edilmiştir. DMM, testlerde mutantları“hayatta kaldı”(survived) ve“öldürüldü”(killed) olarak sınıflandırarak yalnızca geliştirme sürecine destek sağlamakla kalmaz, aynı zamanda geliştirilen modellerin emniyetli ve uygulamaya hazır olduklarını doğrulama sürecinde de kritik bir rol oynar.
Özet (Çeviri)
Deep Neural Networks (DNNs) are utilized in various critical domains, including autonomous vehicles and generative artificial intelligence systems. Due to the risks associated with these domains, models deployed in safety-critical applications such as autonomous vehicles must be error-free and thoroughly tested. Mutation testing is of vital importance for models used in such critical contexts. Mutation-based testing is an effective method in which artificial mutations are applied to the complex structures of DNNs. The Deep Mutation Module (DMM) has been developed to address the testing needs of DNN systems. Through its mutation library, DMM enables mutation testing by applying parameter-specific mutations to DNN models. Detecting and evaluating faults within complex DNN architectures requires an ongoing and systematic solution. The approach presented in this thesis reveals faults and configuration issues in models through targeted mutations. Analyses performed on the surviving mutants provide developers with valuable feedback for improving model performance. This method also allows for the analysis of the safety of the tested model using mutation tests. The conducted experiments focus on three different model types: a Reinforcement Learning (RL) model for electric vehicle routing, a Transformer model, and a Long Short-Term Memory (LSTM) model for prognostic predictions. As a result of mutation testing on the LSTM model, mutation scores of 96.61%, 91.02%, 71.19%, and 68.77% were recorded for 5, 10, 20, and 30 epochs, respectively. For the RL model, mutation scores of 78.23%, 78.20%, and 70.83% were obtained across three different datasets. In the Transformer model tests, performance scores of 75.87%, 76.36%, and 74.93% were recorded for 5, 10, and 20 epochs respectively, and the corresponding mutation scores were 66.8%, 73.3%, and 64.9%. By classifying mutants as“survived”and“killed”, DMM not only supports the model development process but also plays a critical role in verifying that the developed models are safe and ready for deployment.
Benzer Tezler
- An innovative and accurate deep learning based HER2 scoring method HER2-unet
HER2 tümör hücrelerinin segmentasyon için derin öğrenme tabanlı yeni bir yaklaşım
FARIBA DAMBAND KHAMENEH
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiPROF. DR. MUSTAFA ERSEL KAMAŞAK
- İstenmeyen elektronik posta sınıflandırma probleminde etkin özellik seçimi
Effective feature selection in spam mail classification problem
NURİYE BAKTIR
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YILMAZ ATAY
- Identification of genetic mutations in brain tumors using perfusion-weighted mri and deep learning
Perfüzyon ağırlıklı MR ve derin öğrenme kullanarak beyin tümörlerindeki genetik mutasyonların tanımlanması
BUSE BUZ YALUĞ
Doktora
İngilizce
2024
BiyomühendislikBoğaziçi ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
PROF. DR. ESİN ÖZTÜRK IŞIK
- Derin öğrenme ve büyük veri analitiği yöntemleriKullanarak Covid-19 yayılımının ileriye dönük tahmini
Forecasting the spread of covid-19 using deep learning and big data analytics methods
CYLAS KIGANDA
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
PROF. DR. MUHAMMET ALİ AKCAYOL
- Spatio-temporal gene discovery for autism spectrum disorder
Otizm spektrum bozukluğu için zaman-mekansal gen keşfi
UTKU NORMAN
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ABDULLAH ERCÜMENT ÇİÇEK