Development of an agile story point estimation model for scrum: A fusion of natural language processing and machine learning techniques
Scrum için çevik bir hikaye puanı tahmin modelinin geliştirilmesi: Doğal dil işleme ve makine öğrenmesi tekniklerinin birleşimi
- Tez No: 920947
- Danışmanlar: PROF. DR. MEHMET ÖNDER EFE
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Çevik Yazılım Geliştirme (ÇYG) süreçlerinin yinelemeli ve dinamik doğası nedeniyle, doğru Yazılım Efor Tahmini (YET) sağlamak sürekli bir zorluk oluşturmaktadır. Planlama Pokeri ve Tişört Bedenine Göre Tahmin gibi geleneksel tahmin teknikleri önyargılara açık olup, sıklıkla maliyet aşımlarına ve takvim gecikmelerine yol açmaktadır. Bu sınırlamaları ele almak amacıyla hazırlanan bu doktora tezi, Hikaye Puanı (HP) tahminlerinin doğruluğunu ve güvenilirliğini artırmak için ileri düzey Doğal Dil İşleme, Makine Öğrenmesi ve Derin Öğrenme yöntemlerini entegre eden yenilikçi bir otomatik YÇT modeli sunmaktadır. Model, kullanıcı hikayeleri ve iş kalemlerinin metinsel açıklamalarından zengin anlamsal özellikler çıkarmak için Cümle Çift Yönlü Kodlayıcı Dönüştürücü Tabanlı Temsiller (SBERT) mimarisini kullanmakta; bu özellikleri, geliştirme çabalarını doğru bir şekilde tahmin etmek için Kategori Artırma (CatBoost), Aşırı Gradyan Artırma (XGBoost) ve Hafif Gradyan Artırma Makinesi (LightGBM) gibi Gradyan Artırmalı Ağaç (GBT) algoritmalarıyla birleştirmektedir. Model, 26 açık kaynaklı çevik yazılım geliştirme projesinden elde edilen 31,960 iş kalemini içeren kapsamlı bir veri kümesi üzerinde titiz bir eğitim ve doğrulama sürecinden geçmiştir. Bu değerlendirme, tahmin doğruluğu, güvenilirlik ve genelleme yeteneğini ölçmek için üç temel araştırma sorusu etrafında yapılandırılmıştır. Bulgular, önerilen modelin Rastgele Tahmin, Ortalama ve Medyan Tahmin gibi temel kestirim yöntemlerinin yanı sıra Derin Yazılım Tahmini ve Terim Frekansı-Ters Doküman Frekansı Yazılım Tahmini gibi en güncel modellerden de belirgin şekilde daha başarılı olduğunu göstermektedir. Özellikle, model, temel tahmin yöntemlerine göre Ortalama Mutlak Hata'da %27azalma ve Medyan Mutlak Hata'da %33 iyileşme sağlarken, gelişmiş modellere kıyasla Standartlaştırılmış Doğruluk'ta %15artış elde etmiştir. Öne çıkan SBERT-LGBM varyantı, özellik çıkarımı için SBERT ve HP tahmini için LightGBM kullanan yapısıyla, 26 projenin 17'sinde mevcut modellerden daha yüksek performans sergilemiş ve dört kritik durumda büyük etki boyutlarıyla istatistiksel olarak anlamlı kazançlar elde etmiştir. SBERT'in anlamsal analiz yeteneklerinin ve GBT algoritmalarının karmaşık proje verilerini ileri düzeyde işleme kapasitesinin entegrasyonu, tahmin hatalarını azaltmada kritik bir rol oynamış ve AYG proje yönetimi için sağlam bir karar destek aracı sunmuştur. Bu sonuçlar, otomatik YÇT modellerinin proje planlaması, kaynak tahsisi ve genel yönetim verimliliğini artırma potansiyelini ortaya koymaktadır. Çalışma, AYG ortamlarına sorunsuz şekilde uyum sağlayabilen otomatik tahmin modellerine yönelik metodolojik olarak sağlam ve ölçeklenebilir bir yaklaşım sunarak, bu alandaki gelecekteki araştırmalar için bir ölçüt oluşturmaktadır.
Özet (Çeviri)
Accurate Software Effort Estimation (SEE) is a persistent challenge in Agile Software Development (ASD) due to the iterative and dynamic nature of Agile processes, where traditional estimation techniques like Planning Poker and T-shirt Sizing are susceptible to biases and often lead to cost overruns and schedule delays. Addressing these limitations, this doctoral thesis introduces a novel automated SEE model that integrates advanced Natural Language Processing (NLP), Machine Learning (ML), and Deep Learning (DL) methodologies to improve the precision and reliability of Story Point (SP) estimations. The model employs the Sentence Bidirectional Encoder Representations from Transformers (SBERT) architecture for extracting rich semantic features from textual descriptions of user stories (USs) and issues, paired with Gradient Boosted Tree (GBT) algorithms, including Category Boosting (CatBoost), eXtreme Gradient Boosting (XGBoost), and Light Gradient Boosting Machine (LightGBM), to predict development efforts accurately. The model underwent rigorous training and validation on a comprehensive dataset comprising 31,960 issues from 26 open-source Agile projects. This evaluation was structured around three key research questions (RQs) to assess predictive accuracy, reliability, and generalizability. Findings reveal that the proposed model significantly outperforms baseline estimators, including Random Guessing, Mean, and Median Estimators, as well advanced as state-of-the-art models like Deep Software Estimation (Deep-SE), Term Frequency-Inverse Document Frequency Software Estimation (TF-IDF-SE), Latent Dirichlet Allocation (LDA)-based Hierarchical Clustering for SP Estimation (LHC-SE), and its variant LHCTC -SE. Specifically, the model achieved a 27% reduction in Mean Absolute Error (MAE) and a 33% improvement in Median Absolute Error (MdAE) over baseline estimators, along with a 15% increase in Standardized Accuracy (SA) when compared to advanced state-of-the-art models. Notably, the SBERT-LGBM variant optimized by Manual Tuning, which integrates Sentence-BERT for feature extraction and LightGBM for SP estimation, outperformed these existing SP estimators across 17 of the 26 projects, achieving statistically significant gains with large effect sizes in four critical cases. The integration of SBERT's semantic analysis and the advanced handling of complex project data by GBT algorithms proved essential in reducing estimation errors, offering a robust decision-support tool for ASD project management. These results underscore the potential of automated SEE models to enhance project planning, resource allocation, and overall management efficiency. This study contributes a methodologically sound, scalable approach to SEE, setting a benchmark for further research into automated estimation models that adapt seamlessly within Agile landscapes.
Benzer Tezler
- Yazılım geliştirme ve yönetimi yaşam döngüsünün blokzincir ağ modeli ile oyun teorisi kullanarak izlenebilirliğin ve şeffaflığın güçlendirilmesi
Enhancing traceability and transparency in the software development and management life cycle using a blockchain network model and game theory
OĞUZHAN OKTAY BÜYÜK
Doktora
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFatih Sultan Mehmet Vakıf ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ALİ NİZAM
- Ovulasyon indüksiyonu tedavisinde folliküler gelişimin ultrasonografik takibi
Başlık çevirisi yok
MERİH BAYRAM
Tıpta Uzmanlık
Türkçe
1987
Kadın Hastalıkları ve DoğumGazi ÜniversitesiKadın Hastalıkları ve Doğum Ana Bilim Dalı
DOÇ. DR. MÜLAZIM YILDIRIM
- Makro besin elementlerinin (NPK) İzmir'de Mayıs ayında açığa dikilen 4-6 cm çevre büyüklüğündeki Gladiolus cinsine ait“hunting song”ve“Novalüx”kültür çeşitlerinin yumrularının gelişmeleri üzerine etkileri
Başlık çevirisi yok
TAHA ALİ AMEN
Yüksek Lisans
Türkçe
1985
ZiraatEge ÜniversitesiPeyzaj Mimarlığı Ana Bilim Dalı
DOÇ. DR. ADNAN HATİPOĞLU
- Sanayi politikaları ve planlı dönemde imalat sanayine etkileri
Başlık çevirisi yok
AHMET CAFOĞLU
Yüksek Lisans
Türkçe
1986
EkonomiGazi ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. YALÇIN EROL