Empirical study to evaluate ChatGPT for staticanalysis against rule-based approach
ChatGPT'nin statik analiz için kural tabanlı yaklaşıma karşı değerlendirilmesi için deneysel çalışma
- Tez No: 832148
- Danışmanlar: Assist. Prof. Dr. FEYZULLAH ORÇUN ÇETİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgi Güvenliği Bilim Dalı
- Sayfa Sayısı: 46
Özet
Cyber güvenlik endüstrisi hızlı bir dönüşüm geçiriyor, bu da güvenlik uzmanları ve geliştiricilerin en yeni zayıflıklar hakkında bilgi sahibi olmasını giderek zorlaştırıyor. Bu durum, yazılım geliştirme yaşam döngüsü sırasında statik analiz yoluyla bu zayıflıkların erken tespiti için acil bir ihtiyaca yol açıyor. Statik analiz araçları, geliştirme aşamasında zayıflıkları belirleyerek geliştiricilere büyük fayda sağlama potansiyeline sahiptir. Bununla birlikte, güvenlik açıklıklarını tespit etme konusun- daki sınırlı yetenekleri, birçok geliştiricinin bu araçları terk etmesine yol açmaktadır. Bu alanda yapay zeka tabanlı güvenlik araçları umut verici sonuçlar göstermiştir. AI destekli araçların zayıflık tespitini artırmak için kullanımının popülerlik kazan- ması bekleniyor. Ancak, AI destekli araçların etkinliğini kural tabanlı araçlarla karşılaştıran daha fazla araştırmaya ihtiyaç duyulmaktadır. Makalemiz, her iki tür aracın etkinliğini değerlendirerek bu araştırma boşluğunu ele almayı amaçla- maktadır. Bu makalede, OWASP organizasyonu tarafından web uygulamalarında yaygın olarak tanınan en üst 10 zayıflık kategorisine ait 354 JAVA zayıflığını tespit etmede, 10 adet statik kod analiz aracının ve tanınmış bir AI destekli sohbet botu olan ChatGPT'nin etkinliğini değerlendirdik. Analizimiz, tüm statik kod analiz araçlarının bile düşük bir sayıda zayıflık tespit ettiğini ortaya koydu. Buna karşılık, ChatGPT aynı kod örneklerinde zayıflıkları tespit etmede olağanüstü bir performans sergiledi. Aslında, ChatGPT, zayıflıkların %70'ini tespit etmeyi başardı ki bu, statik analiz araçlarının %25'lik tespit oranına göre önemli bir iyileştirme anlamına geliyor. Ayrıca, ChatGPT'nin yanlış pozitif oluşturma performansını, zayıflık analizi için kullandığımız veri setlerindeki 354 yamalı kodla birlikte değerlendirdik. ChatGPT, statik analiz araçlarının ürettiği büyük miktardaki yanlış pozitiflerin aksine, %0 yanlış pozitif üretti. Son olarak, ChatGPT'nin zayıflıkların %20'si için %100 doğru yamalar sağladığını bulduk. Genel olarak, ChatGPT, kaynak kodlardaki zayıflık- ları tespit etme ve düzeltme konusunda nispeten etkili bir mekanizma gibi görün- mektedir. ChatGPT ve diğer statik kod analiz araçlarını zayıflık tespiti için nasıl kullanacağımıza dair ana bulgularımızı ve potansiyel sorunları değerlendiriyoruz. iii
Özet (Çeviri)
The cybersecurity industry is undergoing rapid transformation, making it increas- ingly difficult for security professionals and developers to stay abreast of the latest vulnerabilities. This leads to an urgent need for early detection of these vulnerabil- ities through static analysis during the software development life cycle. Static analysis tools have the potential to greatly benefit developers by identifying weak- nesses during the development phase. However, their limited ability to identify security vulnerabilities leads many developers to abandon these tools. AI-based se- curity tools have demonstrated promising outcomes. The use of AI-powered tools to enhance vulnerability detection is expected to rise in popularity. Yet, there needs to be more research comparing the effectiveness of AI-powered tools to rule-based ones. Our paper seeks to address this research gap by evaluating the effectiveness of both types of tools. In this paper, we assessed the effectiveness of 10 static code analysers and a renowned AI-powered chatbot named ChatGPT in detecting 354 JAVA vul- nerabilities that belong to the top 10 widely recognised vulnerability categories in web applications, as classified by the OWASP organisation. Our analysis revealed that even a combination of all the static code analysers detected a disappointingly low number of vulnerabilities. In contrast, ChatGPT performed remarkably well in detecting vulnerabilities in the same code samples. In fact, ChatGPT was able to detect 70% of the vulnerabilities, which is a significant improvement over the 25% detection rate achieved by the static analysers. Furthermore, we assessed the performance of ChatGPT in false positive generation with 354 patched codes of the datasets we used for vulnerability analysis. ChatGPT issue 0% false positives in contrast with the large number of false positive generation by the static analysers. Finally, we found that ChatGPT provided 100% accurate patches for 20% of the vulnerabilities. All in all, ChatGPT seems to be a relatively effective mechanism for detecting and fixing vulnerabilities in the source codes. We reflect on our main findings and potential issues regarding how to use ChatGPT and other static code analysers for vulnerability detection. iv
Benzer Tezler
- تقييم فعّالية طرائق تدريس قواعد النحو العربي باستخدام استراتيجية الخرائط الذهنية
Zihin haritası tekniğiyle Arapça dilbilgisi öğretimi yöntemleri etkililiğinin değerlendirilmesi
MUHAMMED REŞİT MUNİS
Doktora
Arapça
2024
Eğitim ve ÖğretimGazi ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. MUSA YILDIZ
- Ağ yaklaşımı ve sosyal sermaye kuramı perspektifinden formel örgütlerde ilişkiler: Belediye meclisi sosyal ağ analizi incelemesi
The relations in the formal organizations within the scope of networks approach and social capital theory: Social network analysis of a municipal council
HÜLYA AĞCASULU
Doktora
Türkçe
2017
Kamu YönetimiSüleyman Demirel ÜniversitesiSiyaset Bilimi ve Kamu Yönetimi Ana Bilim Dalı
PROF. DR. MURAT OKCU
- Sprechangst und die förderung der sprechkompetenz Durch dramapädagogik im handlungsorientierten unterricht
Konuşma korkusu ve eylem odaklı derslerde drama pedagojisi yoluyla yabancı dil Almanca'da konuşma becerilerinin geliştirilmesi
FİLİZ ŞENTÜRK
Yüksek Lisans
Almanca
2024
Alman Dili ve EdebiyatıTürk-Alman ÜniversitesiYabancı Dil Olarak Almanca Öğretimi Ana Bilim Dalı
PROF. DR. AYSEL UZUNTAŞ
- Multivariate analysis of school principals' technology leadership competencies, learning school environment and schools' social network structures
Okul müdürlerinin teknoloji liderliği yeterlikleri, okullardaki örgütsel öğrenme ortamı ve örgüt-içi sosyal ağ yapıları arasındaki ilişkinin çok yönlü analizi
KÖKSAL BANOĞLU
Doktora
İngilizce
2019
Eğitim ve ÖğretimMarmara ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. MÜNEVVER ÇETİN
- Türkiye'de kentsel dönüşüm sürecinde uygulanan konutlarda taşıyıcı sistem alternatiflerinin çevresel sürdürülebilirliğinin değerlendirilmesi
Evaluation of the environmental sustainability of structural system alternatives for houses produced in the urban transformation process in Turkey
MEHMET ÇETİNTAŞ
Yüksek Lisans
Türkçe
2024
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. FATİH YAZICIOĞLU