A reinforcement learning approach for control flow error detection in automated software testing
Yazılım otomatık testlerıne pekıştırmelı öğrenme yaklaşımı uygulayarak akış hatalarını yakalama
- Tez No: 720160
- Danışmanlar: DOÇ. DR. MUSTAFA BORAHAN TÜMER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Marmara Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 57
Özet
Test girdileri üretmek için otomatik yazılım test yöntemleri kaçınılmaz hale geldi. Test araçları bir hata bulmak için olaylar üretir ve yazılım üzerinde bu olayların gerçekleşmesini sağlarlar. Ne yazık ki, test edilen uygulama çalışmaz hale geldiğinde, elde edilen olay dizisi bu hata ile ilgisi olmayan bir çok öğe de barındırır. Hata ile ilgisiz olan bu olaylar hata ayıklamayı zorlaştırmaktadır. Biz de bu çalışmada özellikle çökme senaryolarını bulmak ve onarılmasına yardım etmek için, ajanıın hedefinin çökmelere giden en kısa giriş dizilerini bulmak olduğu takviye öğrenme (RL) yaklaşımı sunuyoruz. Bu sayede yazılım geliştiricileri kilitlenmeye giden en kısa yol olan ajanın eylemlerini analiz ederek hataya neden olan akışı kolayca tespit edip müdahale edeceklerdir. Önce hataya sebep olan bir girdi dizisine Recursive Delta Debugging (RDD) uygulayarak bu dizideki hatayla ilgili olmayan girdileri ayıklayıp, daha sonra RL ile daha kısa yolları keşfetmek için öğrenmeyi başlatıyoruz. Kilitlenme hatalarının yakalanmasına ajanın hedefi hataya giden en kısa yolu bulmak şeklinde belirleyerek ve ödüller vererek bir RL problemi olarak yaklaşıyoruz. Bu probleme hem modelden bağımsız politika üzerinde hem de model tabanlı planlama yapabilen RL yöntemlerini uyguluyoruz. Ayrıca, küçük bir varyansta öğrenmeyi durdurarak ve ilgisiz eylemleri yinelemeli olarak kaldıran bir algoritma ile en kısa çarpışma sırasına ulaşarak yakınsamayla boğuşmaktan kaçınarak zaman karmaşıklığını azaltan Algılanmış Hedef Katalizörünü (DGC, Detected Goal Catalyst) içeren yeni bir RL yaklaşımı sunuyoruz. Deneyler, DGC'nin en kısa yolu bulmada hem SARSA hem de Öncelikli Süpürme algoritmalarının öğrenme performansını önemli ölçüde geliştirdiğini göstermektedir.
Özet (Çeviri)
Automatic software testing methods have become inevitable in producing test inputs. Test tools generate events and execute these events on SUT to find a bug. Unfortunately, when a crash occurs, an event sequence which includes many irrelevant events to the failure is obtained. These irrelevant events make debugging process more difficult. To locate and repair bugs with an emphasis on the crash scenarios, we present in this work a reinforcement learning (RL) approach for finding the shortest input sequence(s) leading to system crash or block where these represent the goal state of the RL problem. We shoot for simplifying the bug scenario as much as possible so that developers would analyze agent's actions causing crashes or freeze. In this study, we developed Crash Detection Module (CDM) which consists of three main flows. We first simplify the crash scenario given using Recursive Delta Debugging (RDD), then we apply RL algorithms to explore for the shorter crashing sequence. We approach the exploration of crash scenarios as a RL problem where the agent first attains the goal state of crash/blocking by executing inputs, then shortens the input sequence with the help of the rewarding mechanism. We apply both model-free on-policy and model-based planning-capable RL agents to our problem. Furthermore, we present a novel RL approach, involving Detected Goal Catalyst (DGC), which decreases the time complexity by avoiding grappling with convergence via stopping learning at a small variance and attaining the shortest crash sequence with an algorithm that recursively removes unrelated actions. Experiments show that DGC significantly improves the learning performance of both SARSA and Prioritized Sweeping algorithms on finding the shortest path.
Benzer Tezler
- Age of information based flow control in communication networks
Haberleşme ağlarında bilgi yaşına dayalı akış kontrolü
SAJJAD BAGHAEE
Doktora
İngilizce
2023
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ELİF YUSAL
- Derin pekiştirmeli öğrenme yöntemi ile görüntü hash kodlarını oluşturma
Generating image hash codes with deep reinforcement learning method
ELİF AKKAYA
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik MühendisliğiSakarya ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BURHAN BARAKLI
- Openflow ağları üzerinde çalışan çıkarsamaya dayalı uçtan uca çokluortam akışlandırma uygulaması
An inference based end-to-end video streaming application running over openflow networks
TUBA UZAKGİDER
Yüksek Lisans
Türkçe
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgi Teknolojileri Ana Bilim Dalı
YRD. DOÇ. DR. MÜGE SAYIT
- Derin pekiştirmeli öğrenme tabanlı enerji maliyeti optimizasyonu
Energy cost optimization based on deep reinforcement learning
MUSTAFA MUTLU
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBursa Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÜRKAN IŞIK
- Data-driven delay estimation and anomaly detection: A study on European and Turkish air traffic
Veri güdümlü gecikme tahmini ve anomali tespiti: Avrupa ve Türkiye hava trafiği üzerine bir çalışma
MUHAMMET AKSOY
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DR. EMRE KOYUNCU