Automated code review: Empirical evidence from experiments and industry
Otomatik kod gözden geçirme: Deneylerden ve endüstriden elde edilen bulgular
- Tez No: 937976
- Danışmanlar: DR. ÖĞR. ÜYESİ ERAY TÜZÜN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 80
Özet
Kod gözden geçirme, yazılım kalitesi için kritik bir süreçtir. Büyük dil model- lerindeki (BDM) gelişmeler, otomatik kod gözden geçirmelerini mümkün kılmıştır, ancak güvenilirlikleri ve endüstrideki etkileri belirsizdir. Bu tez, BDM'lerin kod doğruluğunu tespit etme ve iyileştirme yeteneklerini değerlendirirken, BDM destekli kod gözden geçirme araçlarının yazılım endüstrisindeki uygulamalarını inceler. Bu tez, BDM'lerin kod gözden geçirme görevlerindeki performansını değerlendiren deneysel bir çalışma ile BDM destekli kod gözden geçirmelerinin endüstri kullanımını analiz eden bir vaka çalışmasından oluşmaktadır. Deneysel çalışmada, GPT-4o ve Gemini 2.0 Flash, 492 yapay zeka tarafından üretilmiş kod bloğu ve 164 HumanEval veri seti kod bloğunda test edilmiştir. GPT-4o, doğru- luk tespitinde %68,50, düzeltmede %67,83 başarı sağlarken, Gemini 2.0 Flash sırasıyla %63,89 ve %54,26 oranlarına ulaşmıştır. Koda dair açıklamalar olmadan performans düşmüş, sonuçlar kod türüne göre değişmiştir. Vaka çalışması, Qodo PR Agent tabanlı bir BDM destekli kod gözden geçirme aracının, Beko şirketinde, 10 projede 238 geliştirici tarafından kullanımını incelemiştir. Analiz edilen 4.335 pull request'in 1.568'i BDM yorumu almıştır. Geliştiriciler, BDM yorumlarının %73,8'ini dikkate almış ancak kod gözden geçirme süresi uzamıştır. Anketler, kod kalitesinde küçük iyileşmeler olduğunu ancak hatalı veya gereksiz öneriler gibi sorunlar yaşandığını göstermiştir. Sonuç olarak BDM tabanlı kod gözden geçirmeleri hata tespiti ve iyileştirmelerde faydalıdır, ancak hatalı sonuçlar ürete- bilir. Bu riskleri azaltmak için“İnsan-Döngüsünde BDM Kod Gözden Geçirme”önerilmektedir. BDM destekli gözden geçirmeler, bazı eksiklerine rağmen hata tespitini ve kod farkındalığını artırarak yazılım geliştirmeye değerli katkılar sun- maktadır.
Özet (Çeviri)
Code reviews are essential for software quality. Advances in large language models (LLMs) have enabled AI-powered code reviews, but their reliability and impact on the industry remain unclear. This thesis evaluates LLMs for detecting code correctness and suggests improvements while assessing the adoption of AI-assisted code review tools in practice. The thesis consists of two studies: an experimental evaluation of LLMs in code review and a case study on real-world AI-assisted code reviews. In the experiment, GPT-4o and Gemini 2.0 Flash were tested on 492 AI-generated code blocks and 164 HumanEval benchmark blocks. The models assessed correctness and suggested fixes, with GPT-4o achieving 68.50% accuracy in classification and 67.83% in corrections, outperforming Gemini 2.0 Flash (63.89% and 54.26%). Performance dropped without problem descriptions and varied across code types. The case study examined an AI-assisted code review tool based on Qodo PR Agent, deployed to 238 practitioners across ten projects, in Beko Corporation. The analysis focused on 4,335 pull requests, of which 1,568 received automated reviews. Developers engaged with 73.8% of AI-generated comments, though pull request closure time increased. Surveys indicated minor improvements in code quality but highlighted issues such as faulty suggestions and increased review time. LLM-based code reviews aid in detecting issues and improving code but risk errors. A“Human-in-the-loop”approach is proposed to balance automation with oversight. Despite challenges, AI-assisted reviews enhance bug detection and code awareness, offering valuable, albeit imperfect, integration into software development workflows.
Benzer Tezler
- Kokpit otomasyonunun uçuş güvenliğine etkileri ve insan merkezli otomasyon tasarımı
The impact of automation on flight safety and human centered automation desing
CENGİZ YOLDAŞ
Yüksek Lisans
Türkçe
2005
KazalarGazi ÜniversitesiKazaların Çevresel ve Teknik Araştırması Ana Bilim Dalı
PROF.DR. MUSTAFA KURT
- Between cosmopolitan and national outlook: The BBC world news' coverage of the Syrian refugee crisis
Kozmopolitan ve ulusal bakış arasında: BBC world news'ün Suriyeli mülteci krizini haberleştirmesi
SERGÜL NGUYEN
Doktora
İngilizce
2021
İletişim BilimleriGalatasaray ÜniversitesiRadyo Televizyon ve Sinema Ana Bilim Dalı
PROF. DR. İNCİ ÇINARLI
- Yazılım güvenliğinde derin öğrenme tabanlı kaynak kod analizi ve yorum önerimi
Deep learning based source code analysis and review recommendations in software security
YUSUF KARTAL
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Osmangazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. KEMAL ÖZKAN
- Türkiye'deki konut projeleri için BIM tabanlı otomatik bina yönetmelik uygunluk kontrol modeli: BIMTRAC3
A BIM based automated code compliance checking model for residential projects in Turkey: BIMTRAC3
MURAT AYDIN
- BIM-based marina design and semi-automated code checking process
YBM temelli marina tasarımı ve yarı otomatik kod kontrol süreci
CANSU BALKU
Yüksek Lisans
İngilizce
2021
İnşaat MühendisliğiOrta Doğu Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ASLI AKÇAMETE GÜNGÖR
DR. ÖĞR. ÜYESİ GÜLİZAR ÖZYURT TARAKCIOĞLU