Development of an agile story point estimation model for scrum: A fusion of natural language processing and machine learning techniques
Scrum için çevik bir hikaye puanı tahmin modelinin geliştirilmesi: Doğal dil işleme ve makine öğrenmesi tekniklerinin birleşimi
- Tez No: 920947
- Danışmanlar: PROF. DR. MEHMET ÖNDER EFE
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 240
Özet
Çevik Yazılım Geliştirme (ÇYG) süreçlerinin yinelemeli ve dinamik doğası nedeniyle, doğru Yazılım Efor Tahmini (YET) sağlamak sürekli bir zorluk oluşturmaktadır. Planlama Pokeri ve Tişört Bedenine Göre Tahmin gibi geleneksel tahmin teknikleri önyargılara açık olup, sıklıkla maliyet aşımlarına ve takvim gecikmelerine yol açmaktadır. Bu sınırlamaları ele almak amacıyla hazırlanan bu doktora tezi, Hikaye Puanı (HP) tahminlerinin doğruluğunu ve güvenilirliğini artırmak için ileri düzey Doğal Dil İşleme, Makine Öğrenmesi ve Derin Öğrenme yöntemlerini entegre eden yenilikçi bir otomatik YÇT modeli sunmaktadır. Model, kullanıcı hikayeleri ve iş kalemlerinin metinsel açıklamalarından zengin anlamsal özellikler çıkarmak için Cümle Çift Yönlü Kodlayıcı Dönüştürücü Tabanlı Temsiller (SBERT) mimarisini kullanmakta; bu özellikleri, geliştirme çabalarını doğru bir şekilde tahmin etmek için Kategori Artırma (CatBoost), Aşırı Gradyan Artırma (XGBoost) ve Hafif Gradyan Artırma Makinesi (LightGBM) gibi Gradyan Artırmalı Ağaç (GBT) algoritmalarıyla birleştirmektedir. Model, 26 açık kaynaklı çevik yazılım geliştirme projesinden elde edilen 31,960 iş kalemini içeren kapsamlı bir veri kümesi üzerinde titiz bir eğitim ve doğrulama sürecinden geçmiştir. Bu değerlendirme, tahmin doğruluğu, güvenilirlik ve genelleme yeteneğini ölçmek için üç temel araştırma sorusu etrafında yapılandırılmıştır. Bulgular, önerilen modelin Rastgele Tahmin, Ortalama ve Medyan Tahmin gibi temel kestirim yöntemlerinin yanı sıra Derin Yazılım Tahmini ve Terim Frekansı-Ters Doküman Frekansı Yazılım Tahmini gibi en güncel modellerden de belirgin şekilde daha başarılı olduğunu göstermektedir. Özellikle, model, temel tahmin yöntemlerine göre Ortalama Mutlak Hata'da %27azalma ve Medyan Mutlak Hata'da %33 iyileşme sağlarken, gelişmiş modellere kıyasla Standartlaştırılmış Doğruluk'ta %15artış elde etmiştir. Öne çıkan SBERT-LGBM varyantı, özellik çıkarımı için SBERT ve HP tahmini için LightGBM kullanan yapısıyla, 26 projenin 17'sinde mevcut modellerden daha yüksek performans sergilemiş ve dört kritik durumda büyük etki boyutlarıyla istatistiksel olarak anlamlı kazançlar elde etmiştir. SBERT'in anlamsal analiz yeteneklerinin ve GBT algoritmalarının karmaşık proje verilerini ileri düzeyde işleme kapasitesinin entegrasyonu, tahmin hatalarını azaltmada kritik bir rol oynamış ve AYG proje yönetimi için sağlam bir karar destek aracı sunmuştur. Bu sonuçlar, otomatik YÇT modellerinin proje planlaması, kaynak tahsisi ve genel yönetim verimliliğini artırma potansiyelini ortaya koymaktadır. Çalışma, AYG ortamlarına sorunsuz şekilde uyum sağlayabilen otomatik tahmin modellerine yönelik metodolojik olarak sağlam ve ölçeklenebilir bir yaklaşım sunarak, bu alandaki gelecekteki araştırmalar için bir ölçüt oluşturmaktadır.
Özet (Çeviri)
Accurate Software Effort Estimation (SEE) is a persistent challenge in Agile Software Development (ASD) due to the iterative and dynamic nature of Agile processes, where traditional estimation techniques like Planning Poker and T-shirt Sizing are susceptible to biases and often lead to cost overruns and schedule delays. Addressing these limitations, this doctoral thesis introduces a novel automated SEE model that integrates advanced Natural Language Processing (NLP), Machine Learning (ML), and Deep Learning (DL) methodologies to improve the precision and reliability of Story Point (SP) estimations. The model employs the Sentence Bidirectional Encoder Representations from Transformers (SBERT) architecture for extracting rich semantic features from textual descriptions of user stories (USs) and issues, paired with Gradient Boosted Tree (GBT) algorithms, including Category Boosting (CatBoost), eXtreme Gradient Boosting (XGBoost), and Light Gradient Boosting Machine (LightGBM), to predict development efforts accurately. The model underwent rigorous training and validation on a comprehensive dataset comprising 31,960 issues from 26 open-source Agile projects. This evaluation was structured around three key research questions (RQs) to assess predictive accuracy, reliability, and generalizability. Findings reveal that the proposed model significantly outperforms baseline estimators, including Random Guessing, Mean, and Median Estimators, as well advanced as state-of-the-art models like Deep Software Estimation (Deep-SE), Term Frequency-Inverse Document Frequency Software Estimation (TF-IDF-SE), Latent Dirichlet Allocation (LDA)-based Hierarchical Clustering for SP Estimation (LHC-SE), and its variant LHCTC -SE. Specifically, the model achieved a 27% reduction in Mean Absolute Error (MAE) and a 33% improvement in Median Absolute Error (MdAE) over baseline estimators, along with a 15% increase in Standardized Accuracy (SA) when compared to advanced state-of-the-art models. Notably, the SBERT-LGBM variant optimized by Manual Tuning, which integrates Sentence-BERT for feature extraction and LightGBM for SP estimation, outperformed these existing SP estimators across 17 of the 26 projects, achieving statistically significant gains with large effect sizes in four critical cases. The integration of SBERT's semantic analysis and the advanced handling of complex project data by GBT algorithms proved essential in reducing estimation errors, offering a robust decision-support tool for ASD project management. These results underscore the potential of automated SEE models to enhance project planning, resource allocation, and overall management efficiency. This study contributes a methodologically sound, scalable approach to SEE, setting a benchmark for further research into automated estimation models that adapt seamlessly within Agile landscapes.
Benzer Tezler
- Tedarik zinciri yönetiminde çevik (Agile) yaklaşımlar: Tedarikçi yönetiminde hikâye puanı (SP) ve kozmik işlev puanı (CFP) kullanımı
Agile approaches in supply chain management: Story point (SP) and cosmic function point (CFP) usage in agile vendor management
PINAR SAMSUN
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Okan Üniversitesiİşletme Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HALİM YURDAKUL
- Makine öğrenmesi destekli Scrum planlama otomasyonu
Machine learning supported automation in Scrum planning
YEKTA BUĞRAHAN NİZAMOĞLU
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMaltepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖNDER ŞAHİNASLAN
- Project management with PMI standards and a critical approach to a real utilization in banking industry
PMI standartlarıyla proje yönetimi ve bankacılık sektöründeki gerçek bir uygulamaya eleştirel yaklaşım
ÖZCAN ÇİKOT
Yüksek Lisans
İngilizce
2019
Endüstri ve Endüstri MühendisliğiMarmara ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. ÖZALP VAYVAY
- Banka yöneticilerinin yeniden yapılanma sürecine yönelik algılarının belirlenmesi ve beklentileri ile karşılaştırılmasını kapsayan bir araştırma
Bank managers' perceptions of the restructuring process, including identification and comparison with the expectations of a research
ATTİLA BAYRAK
- Çocuk edebiyatı ve 'Louisa May Alcott'un 'Küçük Kadınlar' adlı eserinde değer olarak 'aile' kavramı'
Children's literature and 'the concept of 'family' as a value in 'Little Women' (1868) by Louisa May Alcott'
SEVAL AYDIN
Yüksek Lisans
Türkçe
2021
İngiliz Dili ve EdebiyatıKafkas ÜniversitesiBatı Dilleri ve Edebiyatları Ana Bilim Dalı
PROF. DR. MUSTAFA ÖZDEMİR