LLM based code generation and code integration with multi agent systems
Büyük dil modeli tabanlı kod üretimi ve çoklu ajan sistemleri ile kod entegrasyonu
- Tez No: 995840
- Danışmanlar: PROF. DR. SELİM AKYOKUŞ, DR. SALİH SARP
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: İstanbul Medipol Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Günümüz büyük dil modelleri, doğal dil tanımlamalarına dayalı olarak sözdizimsel açıdan doğru kod üretebilmektedir. Ancak üretilen bu kodun mevcut bir yazılım projesine entegrasyonu, hâlihazırda büyük ölçüde manuel bir süreç olup hataya açıktır ve pratik kullanımı ciddi şekilde sınırlamaktadır. Bu tez, özgün bir çoklu ajan sistem mimarisini tasarlayarak, uygulayarak ve deneysel olarak değerlendirerek kod üretimi ile kod entegrasyonu arasındaki eksik halkayı ele almaktadır. Sistem, dört ajan temelinde uygulanabilmektedir. Ajanların çalışması koordineli bir şekilde gerçekleşmektedir. Bağlam Çıkarım Ajanı, projeyi analiz eden, vektör tabanlı anlamsal arama yoluyla ilgili bağlamı arayan ve hiyerarşik özetleme üreten akıllı bir ajandır. Kod Üretim Ajanı, bağlama dayalı istemlerle çeşitli dil modellerini çalıştıran bir kod üretim ajanıdır. Kod Entegrasyon Ajanı, çakışma tespit ve çözümleme modüllerini kullanarak kod değişikliklerini güvenli hale getirmek için Soyut Sözdizimi Ağacı kullanan güvenli kod değiştirme ajanıdır. Orkestrasyon Ajanı ise iş akışını yürüten, kaliteyi kontrol eden ve uygun çıktı elde edilemediğinde sorunu çözen ajandır. Mimari olarak ayrıştırılmış bu yaklaşım, işlevsel uzmanlaşmayı teşvik ederken doğal dil görev tanımlamasından entegre kod çıktısına kadar uçtan uca tutarlı operasyonu sürdürebilmektedir. Bu çalışmada sunulan deneysel değerlendirmeler, farklı karmaşıklık düzeylerinde üç yazılım projesi, altı güncel büyük dil modeli ve üç farklı kod üretim stili üzerinde gerçekleştirilen 270 bireysel deneye dayanmaktadır. Değerlendirme, bir dizi önemli sonuç ortaya koymuştur; özellikle Soyut Sözdizimi Ağacı tabanlı entegrasyon mimarisi tüm deneysel koşullarda %100 başarı elde ederek yapısal manipülasyon yaklaşımının sağlamlığını kanıtlamıştır. Ayrıca sözdizimi geçerlilik oranı, %39,0 ile %100 arasında değişen önemli modeller arası varyansla ortalama %69,2 olarak gerçekleşmiştir. En iyi model konfigürasyonu için normalize edilmiş skor 0,795 olmuştur. İnsan değerlendirmesi, geliştiriciler arasında kod kalitesini neyin oluşturduğuna dair geleneksel görüşün aksine çok düşük değerlendiriciler arası güvenilirlik (r = 0,021) göstermiştir. Bu araştırma çeşitli katkılar sunmaktadır: otomatik kod üretimi ve entegrasyonu için ilk uçtan uca çoklu ajan mimarisi, ayrıntılı çok boyutlu değerlendirme çerçevesi ve model seçimi, görev karmaşıklığı ile üretim kalitesi arasındaki karmaşık ilişkilere dair deneysel içgörüler. Yapay zeka destekli yazılım geliştirme, teorik ve pratik yeteneklere yönelik bu iyileştirmelerden önemli ölçüde etkilenmektedir.
Özet (Çeviri)
The contemporary large language models can generate syntactically correct code based on natural language specification. However, integrating the resulting code into an existing software project is currently a significantly manual task that is prone to error and severely limits practical use. This thesis addresses the missing link between code generation and code integration by designing, implementing, and empirically evaluating a novel multi-agent system architecture. The system can be implemented based on 4 agents. The working of the agents is coordinated. A Context Retrieval Agent, intelligent agent to analyze the project, looking for the relevant context based on the vector semantic search and generates the hierarchy summarisation. A Code Generation Agent, a code generating agent that runs various language models by prompting based on the context. A Code Integration Agent, safe code modification agent using the Abstract Syntax Tree to make code modifications safe by using conflict detection resolution modules. An Orchestration Agent, run the workflow, check the quality, and solve the problem if we don't get the proper output.An architecturally decomposed approach encourages functional specialization but is able to maintain end-to-end coherent operation from natural language task specification wireframe to integrated code output. The experimental evaluations presented in this paper is based on as many as 270 individual experiments conducted across three software projects with varying complexities, six state-of-the-art language models and three different code generation styles. The evaluation produced a number of important results, specifically that the AST-based integration architecture achieved 100% success in all experimental conditions, thus proving the robustness of the structural manipulation approach. Furthermore, the syntax validity figure averaged 69.2% with significant inter-model variance in the range of 39.0-100%. The normalized score for the best model configuration was 0.795. Human evaluation showed very low inter-rater reliability (r = 0.021) among developers, contrary to conventional wisdom on what goes into code quality. The research makes several contributions: the first end-to-end multi-agent architecture for automated code generation and integration, a detailed multi-dimensional evaluation framework, and empirical insights into the complex relationships involving model selection, task complexity, and generation quality. AI-assisted software development is significantly impacted by these enhancements to theoretical and practical capabilities.
Benzer Tezler
- Deki: A multimodal image-to-code transformation and vision-based gui agents
Dekı: Çok modlu görüntüden koda dönüşüm ve görme tabanlı guı ajanları
RASUL OSMANBAYLİ
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Aydın ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SELÇUK ŞENER
- How cryptographic implementations affect mobile agent systems
Şifreleme gerçekleştirmelerinin gezgin aracı internet sistemlerini nasıl etkilediği
İSMAİL ULUKUŞ
Yüksek Lisans
İngilizce
2003
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiSistem ve Kontrol Mühendisliği Ana Bilim Dalı
PROF. DR. EMİN ANARIM
- Doğal dil ile SQL ve görselleştirme koduna dönüşümde büyük dil modellerinin karşılaştırmalı analizi
Comparative analysis of large language models for natural language to SQL and visualization code generation
BAYKAL MEHMET UÇAR
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiHesaplamalı Bilim ve Mühendislik Ana Bilim Dalı (disiplinlerarası)
DOÇ. DR. SEFER BADAY
- Bağlam farkındalıklı otomatik kod inceleme: Bilgi haritaları ve dinamik uzman yönlendirmesi
Context-aware automated code review: Knowledge maps and dynamic expert routing
BÜŞRA İÇÖZ
Doktora
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÖKSEL BİRİCİK
- Uluslararası fon piyasaları ve döviz kredileri mekanizması (analitik bir yaklaşım)
A Short history of the foreign exchange markets
ADNAN YİĞİT
Yüksek Lisans
Türkçe
1994
BankacılıkMarmara ÜniversitesiUluslararası Bankacılık ve Finans Ana Bilim Dalı
PROF. DR. İLHAN ULUDAĞ