Software defect prediction performance monitoring of deep and machine learning models on NASA promise datasets
NASA promise veri setlerinde derin ve makine öğrenme modellerinin yazılım hata tahmini performansının izlenmesi
- Tez No: 844968
- Danışmanlar: DOÇ. DR. SEFER KURNAZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Altınbaş Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 77
Özet
Yazılım güvenilirliğinin ve kalite güvencesinin büyük önem kazandığı bir çağda, bu çalışma, yazılım hatalarını tahmin etmek için gelişmiş makine öğrenimi modellerini kullanıyor ve böylece yazılım güvenilirliğini artırmadaki potansiyel uygulamalarının daha iyi anlaşılmasına katkıda bulunuyor. Araştırmanın odak noktası, çeşitli NASA yazılım projelerinden elde edilen verilerin bir koleksiyonu olan PROMISE20 veri kümesidir. Bu veri seti üç alt veri setine (CM1, JM1, KC1) bölünmüştür; her bir örnek ikili bir bağımlı değişken (kusur durumunu gösterir) ve Halstead ve McCabe statik kod ölçümlerine dayalı bağımsız değişkenler ile işaretlenmiştir. Çalışma, özellikle LSTM ve LSTM-GRU olmak üzere derin öğrenme modelleri ile XGBoost Sınıflandırıcı gibi geleneksel makine öğrenme modelleri arasında karşılaştırmalı bir analiz gerçekleştirmektedir. Yazılım hatalarını tahmin etme konusundaki yeterlilikleri, doğrulukları ve F1 puanları değerlendirilerek ölçülür. İnceleme sonrasında, LSTM ve LSTM-GRU derin öğrenme modelleri, sırasıyla %88'lik doğruluk oranları ve 0,89 ve 0,90'lık F1 puanları göstererek üstün tahmin performansıyla daha iyi performans gösteriyor. Geleneksel makine öğrenimi alanında XGBoost Sınıflandırıcı, 0,88'lik doğruluk oranıyla en iyi performansı gösteren ürün olarak ortaya çıktı. Ancak bulgular aynı zamanda daha fazla araştırmaya duyulan ihtiyacın da altını çiziyor. Çalışma, yazılım kusur tahmini için en uygun model seçimini belirlemek amacıyla ek veri kümelerinin incelenmesi, çeşitli modellerin araştırılması, model hiperparametrelerinin optimize edilmesi ve model yorumlanabilirliğinin geliştirilmesinin gerekliliğine işaret etmektedir. Bu araştırma, yazılım güvenilirliği ve hata tahmini konusunda devam eden söylemi zenginleştirerek, makine öğrenimini kullanarak yazılım hata tahmini alanında gelecekteki araştırmalar için sağlam bir temel sunuyor.
Özet (Çeviri)
In an era where software reliability and quality assurance have gained paramount importance, this study employs advanced machine learning models to predict software defects, thereby contributing to a refined understanding of their potential applications in enhancing software reliability. The focal point of the investigation is the PROMISE20 dataset, a collection of data from various NASA software projects. This dataset is segmented into three sub-datasets (CM1, JM1, KC1), with each instance marked by a binary dependent variable (indicating defect status) and independent variables based on Halstead and McCabe static code metrics. The study undertakes a comparative analysis between deep learning models, specifically LSTM and LSTM-GRU, and traditional machine learning models such as the XGBoost Classifier. Their proficiency in predicting software defects is gauged by assessing their accuracy and F1-scores. Upon examination, LSTM and LSTM-GRU deep learning models outperform with superior predictive performance, demonstrating accuracy rates of 88% and F1-scores of 0.89 and 0.90, respectively. In the realm of traditional machine learning, the XGBoost Classifier emerged as the top performer, boasting an accuracy rate of 0.88. However, the findings also underscore the need for further exploration. The study points to the necessity of examining additional datasets, exploring diverse models, optimizing model hyperparameters, and enhancing model interpretability to ascertain the optimal choice of model for software defect prediction. This research enriches the ongoing discourse in software reliability and defect prediction, offering a robust foundation for future investigations in the field of software defect prediction using machine learning.
Benzer Tezler
- Building sensor-based real-time predictive maintenance system by utilizing artificial intelligent techniques
Yapay akıllı teknikleri kullanarak sensör tabanlı gerçek zaman tahminli bakım sistemi kurulması
RAGHAD MOHAMMED KHORSHEED
Doktora
İngilizce
2021
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖMER FARUK BEYCA
- Prediction of building resistance based on cracks and deficiencies using machine learning algorithms
Makine öğrenmesi algoritmaları kullanarak çatlaklar ve eksikliklere dayalı bina dayanımının tahmini
HESSAM KAVEH
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Medipol ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. REDA ALHAJJ
- Lityum iyon bataryalarda parça ömür kestirimi
Calculating remaining useful life of lithium-ion batteries
FERHAT MAÇİN
Yüksek Lisans
Türkçe
2019
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. SALMAN KURTULAN
- Yazılım hata kestirim yaklaşımları
Software defect prediction approaches
ÖZKAN SARI
Yüksek Lisans
Türkçe
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. OYA KALIPSIZ
- Çeşitliliğin yüksek olduğu üretim ortamlarında iteratif model düzeltmeleri ile iş emri standart üretim sürelerinin tahmini
Prediction of work order standard production times with iterative model corrections for high variaty production environments
ÖZGE YEŞİLYURT
Yüksek Lisans
Türkçe
2023
Endüstri ve Endüstri MühendisliğiHacettepe ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. MURAT CANER TESTİK