Empirical study to evaluate ChatGPT for staticanalysis against rule-based approach
ChatGPT'nin statik analiz için kural tabanlı yaklaşıma karşı değerlendirilmesi için deneysel çalışma
- Tez No: 832148
- Danışmanlar: Assist. Prof. Dr. FEYZULLAH ORÇUN ÇETİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgi Güvenliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Cyber güvenlik endüstrisi hızlı bir dönüşüm geçiriyor, bu da güvenlik uzmanları ve geliştiricilerin en yeni zayıflıklar hakkında bilgi sahibi olmasını giderek zorlaştırıyor. Bu durum, yazılım geliştirme yaşam döngüsü sırasında statik analiz yoluyla bu zayıflıkların erken tespiti için acil bir ihtiyaca yol açıyor. Statik analiz araçları, geliştirme aşamasında zayıflıkları belirleyerek geliştiricilere büyük fayda sağlama potansiyeline sahiptir. Bununla birlikte, güvenlik açıklıklarını tespit etme konusun- daki sınırlı yetenekleri, birçok geliştiricinin bu araçları terk etmesine yol açmaktadır. Bu alanda yapay zeka tabanlı güvenlik araçları umut verici sonuçlar göstermiştir. AI destekli araçların zayıflık tespitini artırmak için kullanımının popülerlik kazan- ması bekleniyor. Ancak, AI destekli araçların etkinliğini kural tabanlı araçlarla karşılaştıran daha fazla araştırmaya ihtiyaç duyulmaktadır. Makalemiz, her iki tür aracın etkinliğini değerlendirerek bu araştırma boşluğunu ele almayı amaçla- maktadır. Bu makalede, OWASP organizasyonu tarafından web uygulamalarında yaygın olarak tanınan en üst 10 zayıflık kategorisine ait 354 JAVA zayıflığını tespit etmede, 10 adet statik kod analiz aracının ve tanınmış bir AI destekli sohbet botu olan ChatGPT'nin etkinliğini değerlendirdik. Analizimiz, tüm statik kod analiz araçlarının bile düşük bir sayıda zayıflık tespit ettiğini ortaya koydu. Buna karşılık, ChatGPT aynı kod örneklerinde zayıflıkları tespit etmede olağanüstü bir performans sergiledi. Aslında, ChatGPT, zayıflıkların %70'ini tespit etmeyi başardı ki bu, statik analiz araçlarının %25'lik tespit oranına göre önemli bir iyileştirme anlamına geliyor. Ayrıca, ChatGPT'nin yanlış pozitif oluşturma performansını, zayıflık analizi için kullandığımız veri setlerindeki 354 yamalı kodla birlikte değerlendirdik. ChatGPT, statik analiz araçlarının ürettiği büyük miktardaki yanlış pozitiflerin aksine, %0 yanlış pozitif üretti. Son olarak, ChatGPT'nin zayıflıkların %20'si için %100 doğru yamalar sağladığını bulduk. Genel olarak, ChatGPT, kaynak kodlardaki zayıflık- ları tespit etme ve düzeltme konusunda nispeten etkili bir mekanizma gibi görün- mektedir. ChatGPT ve diğer statik kod analiz araçlarını zayıflık tespiti için nasıl kullanacağımıza dair ana bulgularımızı ve potansiyel sorunları değerlendiriyoruz. iii
Özet (Çeviri)
The cybersecurity industry is undergoing rapid transformation, making it increas- ingly difficult for security professionals and developers to stay abreast of the latest vulnerabilities. This leads to an urgent need for early detection of these vulnerabil- ities through static analysis during the software development life cycle. Static analysis tools have the potential to greatly benefit developers by identifying weak- nesses during the development phase. However, their limited ability to identify security vulnerabilities leads many developers to abandon these tools. AI-based se- curity tools have demonstrated promising outcomes. The use of AI-powered tools to enhance vulnerability detection is expected to rise in popularity. Yet, there needs to be more research comparing the effectiveness of AI-powered tools to rule-based ones. Our paper seeks to address this research gap by evaluating the effectiveness of both types of tools. In this paper, we assessed the effectiveness of 10 static code analysers and a renowned AI-powered chatbot named ChatGPT in detecting 354 JAVA vul- nerabilities that belong to the top 10 widely recognised vulnerability categories in web applications, as classified by the OWASP organisation. Our analysis revealed that even a combination of all the static code analysers detected a disappointingly low number of vulnerabilities. In contrast, ChatGPT performed remarkably well in detecting vulnerabilities in the same code samples. In fact, ChatGPT was able to detect 70% of the vulnerabilities, which is a significant improvement over the 25% detection rate achieved by the static analysers. Furthermore, we assessed the performance of ChatGPT in false positive generation with 354 patched codes of the datasets we used for vulnerability analysis. ChatGPT issue 0% false positives in contrast with the large number of false positive generation by the static analysers. Finally, we found that ChatGPT provided 100% accurate patches for 20% of the vulnerabilities. All in all, ChatGPT seems to be a relatively effective mechanism for detecting and fixing vulnerabilities in the source codes. We reflect on our main findings and potential issues regarding how to use ChatGPT and other static code analysers for vulnerability detection. iv
Benzer Tezler
- A comparison of lesson plans from artificial intelligence and English language teachers
Yapay zeka ve İngilizce öğretmenleri tarafından hazırlanan ders planlarının karşılaştırması
KARDELEN ASLAN
Yüksek Lisans
İngilizce
2025
Eğitim ve ÖğretimDicle Üniversitesiİngiliz Dili Eğitimi Ana Bilim Dalı
DOÇ. DR. OSMAN SOLMAZ
- Chatgpt-based best practıces for paır programmıng
Eşli programlama için chatgpt tabanlı en iyi uygulamalar
MEHMET SAFA GÖKALP
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AYÇA KOLUKISA
- Quality of instructor- and AI-generated feedback on EFL opinion writing: A multi-dimensional comparison
Yabancı dil olarak İngilizce yazılan fikir yazıları üzerine öğretmen ve yapay zeka tarafından oluşturulan geri bildirimlerin kalitesi: Çok boyutlu bir karşılaştırma
GÖKÇEN BAHADIR
Yüksek Lisans
İngilizce
2026
Eğitim ve ÖğretimGazi ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
DOÇ. DR. ZEKİYE MÜGE TAVİL
- Yapay zeka sohbet botlarının EFL lise öğrencilerinin konuşma becerisi, kaygı, motivasyon ve dijital okuryazarlık üzerindeki etkisinin incelenmesi
An investigation of ai chatbots on EFL high-school learners' speaking proficiency, anxiety, motivation and digital literacy
MEHMET TAŞDEMİR
Yüksek Lisans
İngilizce
2025
DilbilimTokat Gaziosmanpaşa ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ZAFER SUSOY
- Yapay zeka destekli futbol skor tahminlerinin maç sonuçlarını öngörmedeki doğruluk düzeyinin spor bahisleri bağlamında incelenmesi
An investigation of the accuracy of artificial intelligence-supported football score predictions in predicting match outcomes within the context of sports betting
KARDELEN SEZER
Yüksek Lisans
Türkçe
2026
Sporİstanbul Aydın ÜniversitesiBeden Eğitimi ve Spor Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ESRA EMİR