A large language model based penetration test system implementation
Büyük dil modeli tabanlı sızma testi sistemi uygulaması
- Tez No: 1018837
- Danışmanlar: DR. ÖĞR. ÜYESİ SÜHA TUNA
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilişim Uygulamaları Ana Bilim Dalı (disiplinlerarası)
- Bilim Dalı: Bilgi Güvenliği Mühendisliği ve Kriptografi Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Sızma testi, belirlenen bilişim sistemlerinde zafiyet oluşturabilecek bileşenleri ve mantık hatalarını tespit ederek bu açıklıkların kötü niyetli kişilerce istismar edilmesini önlemeyi ve güvenlik kontrollerini güçlendirmeyi amaçlayan, kurumsal onay ve önceden tanımlanmış kapsam sınırları çerçevesinde yürütülen bir güvenlik test sürecidir. Kurumsal ağlar ölçek ve karmaşıklık açısından büyüdükçe bu değerlendirmelerin düzenli, tekrarlanabilir ve ölçeklenebilir biçimde yürütülmesi kritik hale gelmekte; aynı zamanda hızla değişen teknoloji ve tehdit koşulları nedeniyle zafiyetlerin erken tespiti ve zamanında aksiyon alınması daha da önemli olmaktadır. Uygulamada ise sızma testi çalışmaları çoğunlukla yüksek uzmanlık gerektiren, elle yürütülen ve zaman/maliyet açısından operasyonel yük doğurabilen süreçler olarak öne çıkmaktadır. Bu durum, benzer kapsam ve koşullarda tutarlı sonuç üretmeyi zorlaştırabilmekte ve güvenlik değerlendirmelerinin ölçeklenmesini sınırlayabilmektedir. Özellikle büyük yapılarda tarama çıktılarının hızlı biçimde yorumlanması, önceliklendirme yapılması ve uygun doğrulama adımlarının seçilmesi, sızma testi sürecinin verimliliğini belirleyen kritik faktörlerdir. Son yıllarda Büyük Dil Modelleri (LLM'ler), doğal dil işleme ve akıl yürütme yetenekleri sayesinde güvenlik alanında belirli görevlerin otomasyonunu destekleme potansiyeli sunmaktadır. Buna karşın literatürdeki çalışmalar çoğunlukla ileri düzey ve ticari modellere odaklanmakta; açık kaynak LLM'lerin farklı senaryolarda hangi koşullarda ne düzeyde güvenilir çıktılar üretebildiğini ortaya koyan, tekrarlanabilir ve ölçülebilir değerlendirme çerçeveleri ise yeterince olgunlaşmamıştır. Bu nedenle, açık kaynak LLM tabanlı yaklaşımların siber güvenlik görevlerinde hangi düzeyde tutarlı ve teknik olarak gerekçelendirilebilir çıktılar üretebildiğini incelemek, hem akademik hem de uygulamalı açıdan önemli bir ihtiyaç olarak öne çıkmaktadır. Bu tez, söz konusu boşluğu hedefleyerek, açık kaynak LLM'ler temelinde kontrollü uçtan uca otonom bir sızma testi iş akışının tasarlanmasına yönelik başlangıç niteliğinde bir mimari ve değerlendirme çerçevesi ortaya koymaktadır. Çalışmanın temel yaklaşımı, sızma testinin tarama, analiz ve zafiyet tespitine yönelik adımlarında, bir siber güvenlik uzmanının izlediği yaklaşıma benzer biçimde planlama ve uygulama yapılabilmesini mümkün kılacak bileşenleri tanımlamak ve bunları ölçülebilir şekilde değerlendirmektir. Buradaki hedef, yalnızca serbest metin üreten bir yardımcıdan ziyade, hedef sistemlerden elde edilen tarama çıktıları (açık portlar, servis bilgileri ve komut çıktıları) üzerinden adım adım ilerleyen, karar üreten, uygun komut ve betikleri tasarlayan ve elde edilen sonuçlar üzerinden yeniden değerlendirme yapabilen LLM tabanlı bir yapının oluşturulmasıdır. Bu doğrultuda tez, hem mimari tasarım hem de değerlendirme metodolojisi açısından izlenebilir, tekrar edilebilir ve geliştirilebilir bir çerçeve sunmayı amaçlamaktadır. Çalışma kapsamında, alan bilgisinin sistem tarafından kullanılabilir hale getirilmesi amacıyla teknik PDF kaynakları ve yapılandırılmış siber güvenlik bilgi kaynaklarından yararlanan bir bilgi destek katmanı tasarlanmıştır. Bu doğrultuda, farklı teknik doküman havuzlarından ve yapılandırılmış bilgi kaynaklarından elde edilen içerikler kullanılarak FAISS indeksli bir Geri Getirim Destekli Üretim (RAG) hattı kurgulanmıştır. Doküman havuzu, sızma testi adımları, güvenlik kontrolleri, tarama araçlarının çıktıları ve güvenlik terminolojisi gibi konularda alan bilgisini temsil eden teknik içeriklerden oluşacak şekilde yapılandırılmıştır. Bu yapı, model ağırlıklarını değiştirmeden, soruya veya elde edilen teknik girdiye en uygun içerik parçalarının geri getirilerek modele bağlamsal destek olarak sunulmasına imkân vermektedir. Böylece, modelin güvenlik odaklı sorulara ve tarama çıktılarından türetilen teknik girdilere yanıt üretirken teknik referanslarla desteklenmesi ve yanıt dayanaklarının izlenebilirliğinin artırılması hedeflenmiştir. RAG yaklaşımı, özellikle açık kaynak modellerde görülebilen bağlam kayması ve dayanak sunmadan cevap verme gibi davranışların azaltılmasına yönelik pratik bir destek mekanizması olarak ele alınmıştır. Önerilen yaklaşımın bir diğer boyutu, aynı otonom mimari altında farklı açık kaynak planner-coder model varyantlarının kontrollü deney koşulları altında karşılaştırmalı olarak değerlendirilmesidir. Bu kapsamda sistem, yalnızca çıktı üretimi açısından değil; reasoning, planning, planner-coder task transfer, safe execution, evidence generation ve reporting katmanları üzerinden ölçülmüştür. Böylece model varyantlarının yalnızca metin üretme başarısı değil, aynı rol ayrışmalı çift model mimarisi içerisindeki davranışsal, operasyonel ve teknik performans farklılıkları da değerlendirilebilir hale getirilmiştir. Tezde önerilen mimaride, analiz/planlama ile komut-betik üretimi görevleri rol bazlı olarak ayrıştırılmış çift model otonom mimarisi benimsenmiştir. Bu ayrıştırma, bir tarafta tarama çıktılarının değerlendirilmesi, bulguların anlamlandırılması ve bir sonraki adımın planlanması gibi karar süreçlerini; diğer tarafta ise bu kararlara karşılık gelen komut ve betik üretimini ve uygulamaya dönük adımları daha net bir sorumluluk dağılımı ile ele almayı hedeflemektedir. Tüm deneysel varyantlarda aynı mimari korunmuş; yalnızca analiz/planlama ve coder/yürütme rollerine atanan açık kaynak model çiftleri değiştirilmiştir. Bu çerçevede bir modelin daha çok analiz, yorumlama ve karar verme yükünü üstlenmesi; diğer modelin ise komut ve betik üretimi gibi daha yapısal çıktı gerektiren görevlerde konumlandırılması amaçlanmıştır. Böylece, güvenlik odaklı değerlendirme ve uygulamaya dönük adımların ayrı uzmanlaşma hatlarıyla ele alınabilmesi ve sistemin gelişiminin daha kontrollü biçimde ilerletilebilmesi hedeflenmiştir. Deneysel süreç, kontrollü ve izole bir laboratuvar ortamında kurgulanmıştır. Bu ortamda saldırgan makine olarak Kali Linux, hedef sistem olarak ise kasıtlı zafiyetler içeren Metasploitable2 sanal makinesi kullanılmıştır. Deneyler sırasında dış ağlarla bağlantı kurulmayan kapalı bir sanal ağ segmenti tercih edilerek testlerin yalnızca tanımlı hedef sistemler üzerinde yürütülmesi sağlanmıştır. Bu düzenek üzerinden port taraması ve çıktılara dayalı analiz gibi sızma testi sürecinin temel adımlarına ilişkin bileşenler tasarlanmış; tarama sonucunda elde edilen port ve servis bilgilerinin modelin değerlendirme sürecine girdi olarak sunulabildiği bir akış oluşturulmuştur. Buradaki temel amaç, LLM tabanlı yapının gerçek hedef sistemlerden elde edilen tarama çıktıları üzerinden adım üretme ve yorumlama süreçlerini deneysel olarak gözlemleyebilmek ve çıktıların doğrulanabilir biçimde ölçülebilmesine imkân tanımaktır. Çalışma kapsamında tek bir ana otonom iş akışı benimsenmiştir. Bu yapı içerisinde Nmap tabanlı tarama çıktıları başlangıç teknik referansı ve gömülü doğrulama katmanı olarak kullanılmış; elde edilen açık port ve servis bilgileri rol ayrışmalı çift model mimarisine analiz, planlama, komut üretimi, güvenli yürütme ve yeniden değerlendirme süreçleri için yapılandırılmış teknik girdi sağlamıştır. Böylece sistem, tarama çıktılarından hareketle teknik değerlendirme yapmakta, uygun doğrulama veya bilgi toplama adımlarını planlamakta ve yeni çıktılar üzerinden ilerleyen döngüsel bir otonom süreç işletmektedir. Bu yapı içerisinde Nmap referans çıktıları yalnızca başlangıç taraması değil, aynı zamanda sistem tarafından üretilen teknik bulguların doğruluk, eksiklik ve tutarlılık açısından ölçülebilmesini sağlayan teknik referans karşılaştırma katmanı olarak kullanılmıştır. Mevcut aşamada elde edilen bulgular, RAG tabanlı bilgi desteği, katmanlı metrik değerlendirme ve gömülü teknik doğrulama yaklaşımının birlikte kullanılmasıyla, LLM tabanlı yapıların tarama çıktıları üzerinde daha tutarlı değerlendirmeler üretebilmesine ve sistem davranışlarının teknik dayanağının izlenebilir kılınmasına yönelik bir çerçevenin oluşturulduğunu göstermektedir. Ayrıca, rol bazlı çift model mimarisi sayesinde analiz/planlama ile komut üretimi gibi farklı karakterdeki görevlerin ayrıştırılmasının, sistemin geliştirilmesi, varyantlar arası karşılaştırma yapılabilmesi ve hataların daha kontrollü biçimde izole edilebilmesi açısından pratik avantajlar sağladığı görülmüştür. Bununla birlikte, bu tezde sunulan yapı ve bulgular, uçtan uca otonom sızma testi sistemleri için başlangıç niteliğinde bir adım olarak değerlendirilmelidir. Gelecek çalışmalarda sistemin daha çeşitli hedef ortamlar, farklı servis yapıları ve daha geniş laboratuvar senaryoları üzerinde değerlendirilmesi planlanmaktadır. Ayrıca retrieval destekli planlama, hedef tamamlama sürekliliği, evidence-to-report dönüşümü ve uzun vadeli otonom süreklilik mekanizmalarının güçlendirilmesi, sistemin genellenebilirliğini artırabilecek temel geliştirme alanlarıdır. Sonuç olarak bu tez, açık kaynak LLM tabanlı sızma testi yaklaşımlarının kontrollü koşullarda tasarlanması ve ölçülebilir biçimde değerlendirilmesi için pratik bir başlangıç noktası ve izlenebilir bir çerçeve sunmayı amaçlamaktadır.
Özet (Çeviri)
Penetration testing is a security testing process conducted to identify components and logic flaws in specified information systems that may lead to vulnerabilities, with the aim of preventing these weaknesses from being exploited by malicious actors and strengthening security controls, within the framework of organizational approval and predefined scope boundaries. As corporate networks grow in scale and complexity, conducting these assessments in a regular, repeatable, and scalable manner becomes critical; moreover, due to rapidly changing technology and threat conditions, early detection of vulnerabilities and timely action become even more important. While Large Language Models (LLMs) offer automation potential for certain steps of penetration testing through their natural language processing and reasoning capabilities, the literature has predominantly focused on advanced and commercial models; in contrast, repeatable and measurable evaluation frameworks that reveal under which conditions and to what extent open-source LLMs can produce reliable outputs across different scenarios have not yet sufficiently matured. This thesis presents an initial architecture and evaluation framework for designing a controlled end-to-end autonomous penetration testing workflow using LLM-based planner-coder agents. Within the scope of the study, a FAISS-indexed Retrieval-Augmented Generation (RAG) pipeline is designed using technical PDF sources and structured cybersecurity knowledge sources in order to compile, index, and utilize domain knowledge. In addition, a layered evaluation framework is implemented to compare different open-source planner-coder model variants across reasoning, planning, execution, evidence generation, and reporting dimensions. Rather than focusing on isolated answer quality, the evaluation examines whether the system can maintain technically consistent behavior throughout the autonomous workflow under controlled experimental conditions. In the proposed design, the functions of interpreting technical outputs and making decisions are separated from the generation of scan-oriented commands/scripts, and a role-separated dual-model autonomous architecture is constructed. Experiments are conducted in an isolated laboratory environment using Kali Linux and Metasploitable2; components targeting the automation of stages such as port scanning, analysis, command generation, safe execution, runtime evidence collection, and reporting are designed. At the current stage, it has been observed that, together with RAG-based knowledge support, layered metric evaluation, and output verification approaches, a framework has been established to enable LLM-based structures to produce more consistent assessments over scan outputs and to make the technical basis of system behavior more traceable. The results show that open-source LLM-based planner-coder architectures can support controlled pre-exploitation penetration testing stages such as scan interpretation, planning, safe command generation, evidence collection, and reporting. However, broader validation across more diverse infrastructures, further retrieval integration, and improved autonomous continuity remain future work.
Benzer Tezler
- Kömürlerin kendiliğnden yanmasının teorik ve deneysel incelenmesi
Theoretical and experimental investigations of spontonequs combustion of coals
FEHMİ AKGÜN
- Şebekeye bağlı üç fazlı sic tabanlı hibrit anpc evirici yapısının kontrolü ve tasarımı
Control and design of the grid connected three-phase sic based hybrid npc inverter
İSLAM DELİBAŞ
Yüksek Lisans
Türkçe
2022
Enerjiİstanbul Teknik ÜniversitesiElektrik Ana Bilim Dalı
DOÇ. DR. MURAT YILMAZ
DR. ÖĞR. ÜYESİ DENİZ YILDIRIM
DOÇ. DR. ATİYE HÜLYA OBDAN
- Metro sistemlerinin tasarımında yapım ve işletme maliyetlerinin optimizasyonu için bir yaklaşım
An approach for optimizing construction and operation costs of metro systems
MEHMET TARIK DÜNDAR
Doktora
Türkçe
2016
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. ZÜBEYDE ÖZTÜRK
PROF. DR. SİNAN MERT ŞENER
DOÇ. DR. MURAT ERGÜN
- A large language model (LLM)-based framework for bid/no-bid decision support in construction public procurement: Validated on romanian tenders
İnşaat kamu ihalelerinde teklif verme / vermeme karar desteği için büyük dil modeli (LLM) tabanlı bir çerçeve: Romanya ihaleleri üzerinde doğrulama
ELİF GÜLİN PETEK
Yüksek Lisans
İngilizce
2026
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. ONUR BEHZAT TOKDEMİR
- Medikal operasyon videoları için yapay zeka modeli kullanan büyük dil modeli tabanlı işlem önerisi oluşturma yaklaşımı
A large language model-based procedure suggestion generation approach using an artificial intelligence model for medical operation videos
MEHMET MERT MENEVŞE
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET KARAKÖSE