Securing AI-generated code: A prompt engineering approach to mitigate vulnerabilities in LLM outputs
YZ ile üretilmiş kodların güvenliğinin sağlanması: BDM çıktılarındaki açıkları yönetmek için bir istem mühendisliği yaklaşımı
- Tez No: 990640
- Danışmanlar: DR. ÖĞR. ÜYESİ SELMA NAZLIOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Güvenlik mühendisliği, Güvenlik protokolleri, Kod üretici, Yazılım güvenliği, Security engineering, Security protocols, Code generator, Software security
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Atılım Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Yazılım Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Yapay zeka tarafından üretilen kodların güvenliği, Büyük Dil Modelleri'nin (LLM'ler) yazılım geliştirme süreçlerinde giderek daha fazla kullanılmasıyla önemli bir endişe haline gelmiştir. GPT-3.5, GPT-4, Gemini, DeepSeek ve LLaMA gibi güçlü kod üretme yeteneklerine sahip modeller, güvenlik açısından kabul görmüş standartları tam olarak anlamadıkları için SQL enjeksiyonu, zayıf kimlik doğrulama ve hatalı erişim kontrolü gibi güvenlik açıklarına karşı savunmasız kalabilmektedir. Bu tez, LLM'ler tarafından üretilen kodların güvenliğini artırmak amacıyla OWASP Top 10 standartlarının dahil edildiği hızlı mühendislik (prompt engineering) tekniklerini incelemektedir. Bu çalışmada, farklı LLM'lerde (zero-shot, Chain-of-Thought, Recursive Criticism and Improvement (RCI) ve persona tabanlı promptlar) farklı yönlendirme stratejileri karşılaştırılarak bir kıyaslama veri kümesi (LLMSecEval) ve statik analiz araçları (Bandit ve CodeQL) kullanılmıştır. Sonuçlar, RCI tekniğinin güvenlik açıklarını önemli ölçüde azalttığını ve LLaMA modelinin RCI tekniğiyle sıfır güvenlik açığına ulaştığını göstermektedir. Bulgular, yönlendirme (prompt) tasarımının güvenlik risklerini azaltmadaki etkinliğini ortaya koymakta ve geliştiriciler ile araştırmacılar için güvenli kod üretimi konusunda pratik içgörüler sunmaktadır. Bu araştırma; açık ve kapalı LLM'lerin karşılaştırmalı değerlendirmesini yaparak, prompt mühendisliğini geliştirerek ve güvenlik odaklı, yeniden kullanılabilir prompt şablonları önererek literatüre katkı sağlamaktadır. Araştırmanın ikinci aşamasında, RCI-SA Döngüsü (Statik Analiz ile Yinelemeli Eleştiri ve İyileştirme) adı verilen bir iyileştirme yöntemi sunulmuştur. Bu yinelemeli yaklaşım, statik analiz geri bildirimlerini kullanarak üretilen kodları sürekli olarak iyileştirmeyi amaçlamaktadır. Bazı durumlarda tespit edilen toplam CWE sayısı artsa da, bu döngü birçok kritik güvenlik açığını ortadan kaldırmış ve önceden gizli olan sorunları açığa çıkarmıştır, bu da genel güvenliğin artmasına yol açmıştır. Bu yöntem, yinelemeli doğrulamanın önemini vurgulamakta ve geri bildirim odaklı prompt iyileştirmeleri yoluyla güvenli kod üretimi için pratik bir çerçeve sunmaktadır.
Özet (Çeviri)
The security of AI-generated code has become an important concern as Large Language Models (LLMs) are being used more and more in software development. Despite having strong code generating capabilities, LLMs like GPT-3.5, GPT-4, Gemini, DeepSeek, and LLaMA frequently don't understand accepted security procedures, which leaves them vulnerable to issues like SQL injection, weak authentication, and inappropriate access control. This thesis explores the improvement of LLM-generated code security by rapid engineering, namely through the incorporation of OWASP Top 10 standards. A benchmark dataset (LLMSecEval) and static analysis tools (Bandit and CodeQL) are used in this study to compare different prompting strategies across many LLMs, such as zero-shot, Chain-of-Thought, Recursive Criticism and Improvement (RCI), and persona-based prompts. Results indicate that RCI prompting significantly reduce vulnerability rates, with LLaMA achieving zero vulnerabilities under RCI prompting. The findings underscore the effectiveness of prompt design in mitigating security risks and offer practical insights into secure code generation for developers and researchers. This research contributes to the field by benchmarking open and closed LLMs, enhancing prompt engineering practices, and proposing reusable, security-aware prompt templates. In the second phase of the research, a refinement method called RCI-SA Loop (Recursive Critique and Improvement with Static Analysis) is introduced. This iterative approach uses static analysis feedback to continuously improve generated code. While the total number of detected CWEs increased in some cases, the loop effectively removed several critical vulnerabilities and exposed previously hidden issues, resulting in overall security improvement. The method highlights the importance of iterative validation and contributes a practical framework for secure code generation through feedback-driven prompt refinement.
Benzer Tezler
- Aşırı denizlerdeki gemi hareketlerinin cisim-tam dilim teorisi yaklaşımı ile simülasyona dayalı hesaplanması
Simulation based calculation of ship motions in extreme seas with a body-exact strip theory approach
KIVANÇ ALİ ANIL
Doktora
Türkçe
2017
Gemi Mühendisliğiİstanbul Teknik ÜniversitesiGemi İnşaatı ve Gemi Makineleri Mühendisliği Ana Bilim Dalı
DOÇ. DR. DEVRİM BÜLENT DANIŞMAN
PROF. DR. KADİR SARIÖZ
- Visible light communication assisted secure and efficient architecture for autonomous platoon
Görünür ışık ile iletişim destekli güvenli ve verimli otonom taşıt grubu mimarisi
SEYHAN UÇAR
Doktora
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. DR. SİNEM ÇÖLERİ ERGEN
DOÇ. DR. ÖZNUR ÖZKASAP
- Detection of fake satellite images using pre-trained CNN models
Önceden eğitilmiş CNN modelleri kullanarak sahte uydu görüntülerinin tespiti
KENAN COŞKUN
Yüksek Lisans
İngilizce
2025
Elektrik ve Elektronik MühendisliğiOstim Teknik ÜniversitesiElektrik-Elektronik Ana Bilim Dalı
PROF. DR. İSMAİL AVCIBAŞ
- Tarihsel kapitalizmin yapısal unsuru ilkel birikim ve bir araç olarak Türkiye'de acele kamulaştırma
Primitive accumulation as a structural element of historical capitalism and urgent expropriation as a means in Turkey
ÖZAY GÖZTEPE
Doktora
Türkçe
2017
Kamu YönetimiAkdeniz ÜniversitesiKamu Yönetimi Ana Bilim Dalı
PROF. DR. GÜLSER ÖZTUNALI KAYIR
- Producing secure multimodal biometric descriptors using artificial neural networks
Başlık çevirisi yok
RAGHAD SAEED HASAN
Doktora
İngilizce
2021
Elektrik ve Elektronik MühendisliğiAltınbaş ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DOĞU ÇAĞDAŞ ATİLLA
DR. ÖĞR. ÜYESİ ÇAĞATAY AYDIN