Geri Dön

Mitigating vulnerability leakage from llms for secure code analysis

Güvenli kod analizi için büyük dil modellerinden kaynaklanan zafiyet sızıntısının azaltılması

PDF İndir

  1. Tez No: 967832
  2. Yazar: BENGÜ GÜLAY
  3. Danışmanlar: PROF. CEMAL YILMAZ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: İngilizce
  9. Üniversite: Sabancı Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 63

Özet

Büyük Dil Modelleri (LLM'ler), yazılım geliştirme süreçlerinde giderek daha fazla kullanılarak kod analizi, hata ayıklama ve güvenlik açığı tespiti gibi alanlarda oldukça fazla destek sağlamaktadır. Ancak özellikle hassas kodların bu sistemlerle paylaşılması durumunda, bu modellerin kaynak kodlardaki güvenlik açıklarını ifşa etme ihtimali ve istenmeyen bilgi sızıntılarına yol açabileceği endişeleri göz ardı edilmemelidir. Bu tez, söz konusu bilgi sızıntısını azaltmaya yönelik savunma stratejilerini sunmaktadır: geleneksel obfüskasyon (karmaşıklaştırma) teknikleri ve bal küpü (honeypot) güvenlik açıklarını içeren yenilikçi, aldatmaya dayalı bir yaklaşım. Çalışma kapsamında, 51 farklı CWE kategorisini kapsayan 400 C ve Python kod parçasından oluşan bir veri kümesi oluşturulmuş ve üç güncel LLM (GPT-4o, GPT-4o-mini ve LLaMA-4)'in güvenlik açığı tespit performansları bu kodların üzerinde değerlendirilmiştir. İlk olarak sekiz farklı obfüskasyon yöntemi uygulanarak, bunların LLM'lerin tespit doğruluğu ve işlevselliğin korunması üzerindeki etkileri ölçülmüştür. Sonuçlar, ölü kod ekleme ve kontrol akışı obfüskasyonunun güvenlik açığı sızıntısını engellemede en etkili yöntemler olduğunu; ancak tam şifreleme gibi agresif tekniklerin, kodun işlevselliğinin anlaşılmasını olumsuz etkilediğini göstermiştir. İlk aşamada elde edilen sonuçlar doğrultusunda, başarılı olan obfüskasyonlar diğer yanıltıcı stratejilerle birleştirilerek, bal küpü güvenlik açıkları kodlara eklenmiştir. Bu aşamada birinci fazda etkili olduğu kanıtlanan kontrol akışı obfüskasyonu, veri akışı obfüskasyonu ve tanımlayıcı yeniden adlandırma tekniklerinin yanı sıra, siklomatik karmaşıklığın artırılması ve yanıltıcı yorumlar gibi yeni yöntemler de uygulanmıştır. Elde edilen bulgular, bal küplerinin bazı durumlarda güvenlik açığı tespit doğruluğunu yüzde 60'tan fazla azalttığını; buna karşın kodun işlevselliğinin büyük ölçüde korunduğunu ortaya koymuştur. Ayrıca, yanıltıcı yorumlar tüm modellerde hafif fakat etkili bir savunma yöntemi olarak öne çıkmıştır. Bu bulgular, yapay zekâ destekli yazılım geliştirme süreçlerinde güvenlik ve kullanılabilirlik arasında bir denge kurulması gerekliliğini vurgulamakta; ayrıca benzer tekniklerin otomatik denetimlerden kötü niyetli açıkları gizlemek amacıyla kötüye kullanılabileceğine dair etik kaygılara dikkat çekmektedir.

Özet (Çeviri)

Large Language Models (LLMs) are increasingly integrated into software development workflows, offering powerful capabilities for code analysis, debugging, and vulnerability detection. However, their ability to infer and expose vulnerabilities in source code raises security concerns, particularly regarding unintended information leakage when sensitive code is shared with these models. This thesis investigates defense strategies to mitigate such leakage: traditional obfuscation techniques and a novel deception-based approach involving honeypot vulnerabilities. We constructed a dataset of 400 C and Python code snippets spanning 51 CWE categories and evaluated their vulnerability detection performance across three state-of-the-art LLMs: GPT-4o, GPT-4o-mini, and LLaMA-4. Firstly, we applied obfuscation methods—including comment removal, identifier renaming, control/data flow transformations, dead code insertion, full encoding, and LLM-based rewriting—and measured their impact on LLM detection accuracy and functionality retention. Dead code insertion and control flow obfuscation proved most effective in suppressing vulnerability leakage, though aggressive techniques like encoding impaired functionality comprehension. Secondly, we introduced honeypot vulnerabilities combined with misleading strategies that were proven effective earlier—such as control flow obfuscation, data flow obfuscation, and identifier renaming—and additional techniques like cyclomatic complexity increases and misleading comments. Honeypots significantly reduced vulnerability detection accuracy by over 60 percentage points in some cases, while maintaining high functional clarity, with LLM-generated similarity scores consistently above 4.1 on a 5-point scale. Misleading comments emerged as a lightweight yet robust defense across all models. These findings underscore the need to balance security and usability in AI-assisted development and highlight ethical considerations, as similar techniques could potentially be misused to conceal malicious flaws from automated audits.

Benzer Tezler

  1. Tez No

    868596

    Cloud computing in maritime transport for data collection: Cyber security risk analysis with FMECA method

    Deniz taşımacılıgında veri toplama işlemi için bulut bilişim cözümü: FMECA methodu ile siber güvenlik risk analizi

    TOPRAK OBA

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Deniz Ulaştırma Mühendisliği Ana Bilim Dalı

    PROF. DR. YASİN ARSLANOĞLU

  2. Tez No

    806885

    Flood vulnerability assessment using GIS-based multi-criteria decision analysis: A case study of Kaynarca river

    CBS tabanlı çok kriterli karar analizi kullanılarak taşkın kırılganlığı değerlendirmesi: Kaynarca deresi örneği

    ÖZGE NAZ PALA

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Çevre MühendisliğiBoğaziçi Üniversitesi

    Çevre Bilimleri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ İREM DALOĞLU ÇETİNKAYA

  3. Tez No

    697376

    Using cash transfer conditions to the benchmark the assessment of social assistance as a poverty reduction strategy: Case of Mogadishu IDPs inhabitants

    Nakit transfer koşullarının benchmarka kullanarak, sosyal yardımların yoksulluk azaltama stratejisi olarak değerlendirilmesi: Mogadişu İDP inhabıtanları örneği

    ALI MOHAMED OSMAN ALI MOHAMED OSMAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    EkonomiAnkara Yıldırım Beyazıt Üniversitesi

    Ekonomi Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ NERGİS DAMA

  4. Tez No

    900105

    Landslide vulnerability assessment methodology for high voltage electric transmission towers

    Yüksek gerilimli elektrik iletim hattı kuleleri için heyelan kırılganlık değerlendirme methodolojisi

    HALE NUREFSAN KOÇ

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Mühendislik BilimleriOrta Doğu Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    DOÇ. DR. NEJAN HUVAJ SARIHAN

    PROF. DR. HAKAN AHMET NEFESLİOĞLU

  5. Tez No

    128664

    Küçükçekmece ve Sefaköy yerleşim bölgelerinin zemin büyütmesine göre mikrobölgelemesi

    The Microzonation of provinces of Küçükçekmece and Sefaköy with respect to soil amplification

    ŞENOL ADATEPE

    Yüksek Lisans

    Türkçe

    Türkçe

    2002

    İnşaat MühendisliğiYıldız Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    PROF. DR. SÖNMEZ YILDIRIM

Geri Dön