Geri Dön

Kamuya açık büyük dil modelleri ile bağlam duyarlı siber risk değerlendirmesi: Uzman doğrulamalı bir çerçeve ve insan–yapay zekâ karşılaştırması

LLM-assisted context-aware cyber risk assessment: an expert-calibrated framework and scoring

PDF İndir

  1. Tez No: 1010028
  2. Yazar: NEZİH MAHMUT ÜNAL
  3. Danışmanlar: DR. ÖĞR. ÜYESİ BARIŞ ÇELİKTAŞ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2026
  8. Dil: Türkçe
  9. Üniversite: Işık Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Ana Bilim Dalı
  12. Bilim Dalı: Siber Güvenlik Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Geleneksel siber risk değerlendirme metodolojileri kritik bir ikilemle karşı karşıyadır: Bu yöntemler ya nicel ancak statik ve bağlamdan bağımsızdır (Örn: CVSS) ya da bağlama duyarlı ancak yoğun emek gerektiren ve özneldir (Örn: NIST SP 800-30). Sonuç olarak kuruluşlar, risk değerlendirme süreçlerini gelişen tehditlerin hızına uyum sağlayacak şekilde ölçeklendirmekte zorlanmaktadır. Bu çalışma; uzman bilgisini işlevsel hale getirmek amacıyla kamuya açık Büyük Dil Modellerinin (LLM) akıl yürütme yeteneklerinden yararlanan, otomatik ve bağlama duyarlı bir risk değerlendirme çerçevesi sunmaktadır. Karmaşık“kapalı kutu”(black-box) makine öğrenmesi modellerinin aksine, önerilen yaklaşım yapay zekanın akıl yürütme sürecini şeffaf bir Dinamik Metrik Motoruna dayandırmaktadır. Bu motorun ağırlıkları, 101 siber güvenlik profesyoneli ile gerçekleştirilen bir anket çalışmasından Sıralı Derece Ağırlık Merkezi (Rank Order Centroid - ROC) yöntemi kullanılarak elde edilmiştir. Geliştirilen çerçeve, 15 farklı gerçek dünya zafiyet senaryosu (C1--C15) ve üç ek duyarlılık stres testi (C16--C18) içeren karşılaştırmalı bir çalışma aracılığıyla değerlendirilmiştir. Doğrulama senaryoları, on kıdemli uzmandan oluşan bir grup ve iki modern LLM ajanı (GPT-4o ve Gemini 2.0 Flash) tarafından bağımsız olarak analiz edilmiştir. Elde edilen sonuçlar, LLM tabanlı ajanların oldukça güvenilir bir uzman temel çizgisine (Cronbach's α = 0,996) karşı, insan medyanıyla yakından uyumlu bir puanlama tutarlılığı (Pearson r değeri 0,9390 ile 0,9717 ; Spearman ρ değeri 0,8472 ile 0,9276 aralığında) sergilediğini göstermiştir. Ayrıca sistem, değerlendirme döngü süresini 100 kattan fazla azaltmıştır (vaka başına ortalama 6 dakikalık insan süresine karşı 4 saniyenin altı). Dahası, özel bir bağlam duyarlılık analizi (C13--C15); çerçevenin, özdeş teknik zafiyetler için risk skorlarını kurumsal bağlama (örneğin KOBİ'ye karşı Kritik Altyapı) göre uyarlayabildiğini kanıtlamıştır. Genel olarak bu bulgular, ticari olarak erişilebilen LLM'lerin uzmanlarca doğrulanmış metrik şemalarıyla sınırlandırıldığında; tekrarlanabilir, doğru ve gerçek zamanlı risk değerlendirmelerini destekleyebileceğini ortaya koymaktadır.

Özet (Çeviri)

Traditional cyber risk assessment methodologies face a critical dilemma: they are either quantitative yet static and context-agnostic (e.g., CVSS), or context-aware yet highly labor-intensive and subjective (e.g., NIST SP 800-30). Consequently, organizations struggle to scale risk assessment to match the pace of evolving threats. This paper presents an automated, context-aware risk assessment framework that leverages the reasoning capabilities of publicly available Large Language Models (LLMs) to operationalize expert knowledge. Unlike complex black-box machine learning models, our approach anchors the AI's reasoning to a transparent Dynamic Metric Engine, with weights derived using the Rank Order Centroid (ROC) method from a survey of 101 cybersecurity professionals. We evaluated the framework through a comparative study involving 15 diverse real-world vulnerability scenarios (C1--C15) and three supplementary sensitivity stress tests (C16--C18). The validation scenarios were independently assessed by a cohort of ten senior human experts and two state-of-the-art LLM agents (GPT-4o and Gemini 2.0 Flash). The results show that the LLM-driven agents achieve scoring consistency closely aligned with the human median (Pearson r ranging from 0.9390 to 0.9717, Spearman ρ from 0.8472 to 0.9276) against a highly reliable expert baseline (Cronbach's α=0.996$), while reducing the assessment cycle time by more than 100$\times$ (averaging under 4 seconds per case vs. a human average of 6 minutes). Furthermore, a dedicated context sensitivity analysis (C13--C15) indicates that the framework adapts risk scores based on organizational context (e.g., SME vs. Critical Infrastructure) for identical technical vulnerabilities. Overall, these findings suggest that commercially available LLMs, when constrained by expert-validated metric schemas, can support reproducible, accurate, and real-time risk assessments.

Benzer Tezler

  1. Tez No

    1019841

    A large language model (LLM)-based framework for bid/no-bid decision support in construction public procurement: Validated on romanian tenders

    İnşaat kamu ihalelerinde teklif verme / vermeme karar desteği için büyük dil modeli (LLM) tabanlı bir çerçeve: Romanya ihaleleri üzerinde doğrulama

    ELİF GÜLİN PETEK

    Yüksek Lisans

    İngilizce

    İngilizce

    2026

    İnşaat Mühendisliğiİstanbul Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ONUR BEHZAT TOKDEMİR

  2. Tez No

    972467

    Behavioral classification of malware via windows api call sequences using large language models

    Büyük dıl modellerı kullanarak wındows apı çağrı dızılerıyle kötü amaçlı yazılımların davranışsal sınıflandırması

    EMRE EKMEKÇİOĞLU

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı Üniversitesi

    Siber Güvenlik Ana Bilim Dalı

    DR. FEYZULLAH ORÇUN ÇETİN

  3. Tez No

    983040

    The influence of context structurization on attention dynamics and representational spaces in bert for question answering

    Bağlam yapılandırmasının soru cevaplamada bert'in dikkat dinamikleri ve temsil alanları üzerindeki etkisi

    EREN IRMAK

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Bilim ve TeknolojiYeditepe Üniversitesi

    Bilişsel Bilimler Ana Bilim Dalı (disiplinlerarası)

    PROF. DR. EMİN ERKAN KORKMAZ

  4. Tez No

    997240

    Türkçe e-ticaret yorumlarında transformer tabanlı duygu analizi

    Transformer-based sentiment analysis on Turkish e-commerce reviews

    MUHAMMET ŞAMİL İKİZOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2026

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    İşletme Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TUNCAY ÖZCAN

  5. Tez No

    1011924

    Tokenizasyon, veri kalitesi ve alan uyarlaması ekseninde Türkçe dil modellerinin geliştirilmesi ve değerlendirilmesi

    Developing and evaluating Turkish language models within a tokenization, data quality, and domain adaptation framework

    MEHMET ALİ BAYRAM

    Doktora

    Türkçe

    Türkçe

    2026

    DilbilimYıldız Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. BANU DİRİ

    DOÇ. DR. SAVAŞ YILDIRIM

Geri Dön