Prioritization and parallel execution of test cases for certification testing
Sertifikasyon testi için test senaryolarının önceliklendirilmesi ve paralel yürütülmesi
- Tez No: 697270
- Danışmanlar: DOÇ. DR. HASAN SÖZER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Özyeğin Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 102
Özet
Tüketici elektroniği alanında geliştirilen sistemler düzenli olarak sertifikasyon testinetabidir. Örneğin her Smart TV ürünü Netflix, YouTube ve Amazon gibi uygulama satıcıları tarafından düzenlenen bir sertifika sürecinden geçmelidir. Her bir uygulama ile ilgili sertifikasyon sürecinin bir parçası olarak kullanılacak ayrı bir test grubu vardır. Her test grubu yüzlerce test senaryosu içermektedir. Bu test senaryolarının çoğunun manuel olarak yürütülmesi gerekmektedir. Bu nedenle sertifika test gruplarının koşumunun tamamlanması birkaç gün sürebilmektedir. Ayrıca test senaryolarının yürütme süreleri ve test senaryolarının bulduğu hataların önem dereceleri arasında da büyük farklılıklar vardır. Bu nedenle test senaryolarının önceliklendirilmesi ve paralel olarak yürütülmesi, test yürütme sürecinin süresini ve etkinliğini önemli ölçüde etkileyebilmektedir. Tespit edilen hataların yüzdesinin ortalaması hesaplanarak test etkinliği ölçülmektedir. Bu tezde, paralel test yürütmeyi,değişen test yürütme sürelerini ve hata önem dereceleri sıralı ölçekte hesaba katacak şekilde mevcut metriklerin varyantları sunulmuştur. Ayrıca birden çok test istasyonunda paralel olarak yürütülebilecek bu tür test senaryolarının sıralanması için bir yaklaşım önerilmiştir. Bir dizi mevcut test istasyonunda test yürütme planlarının paylaşımını eniyilemek için tam sayı doğrusal programlama kullanılmıştır. Bu paylaşımın amacı, genel test yürütme süresini en aza indirmektir. Belirli bir test istasyonuna paylaştırılan test senaryolarının yürütme sürelerinin artan sırasına göre koşumu tamamlanmıştır. Smart TV yazılımı için sertifika testi bağlamında endüstriyel bir vaka çalışması gerçekleştirilmiştir. Sertifika test grupları, 3 TV yazılım projesinde kullanılan 3 farklı Smart TV uygulaması üzerinde gerçek deneysel nesneler olarak kullanılmıştır. Her proje için iki test döngüsü olarak ölçümlerimiz tekrarlanmıştır ve 3 test grubunun her biri için 6 test koşumu gerçekleştirilmiştir. Sonuç olarak değerlendirmemiz 18 test oturumu içermektedir. Bu oturumların her biri, mevcut test istasyonlarının sayısının 1, 3 ve 5 olduğu 3 senaryo ile değerlendirilmiştir. Yaklaşımımızın etkinliği temel olarak açgözlü yaklaşımla karşılaştırılmıştır. Yalnızca 3 test kurulumu mevcut olduğunda bile genel test yürütme süresinin %16'ya kadar azaltılabileceği gözlemlenmiştir. Test senaryolarının test istasyonlarına paylaşımının eniyilemesi sonucunda test etkinliği de iyileşmiştir.
Özet (Çeviri)
Systems that are developed in the consumer electronics domain are subject to testing for certification regularly. For instance, each Smart TV product must go through a certification process that is regulated by application vendors like Netflix, YouTube and Amazon. There exist a separate test suite to be used as part of the certification process pertaining to each application. Each test suite includes hundreds of test cases. Many of these test cases have to be executed manually and it might take several days to complete the execution of certification test suites. There also exists a high variation among the execution times of test cases and severities of faults detected by these test cases. Therefore, prioritization of test cases and parallel test execution can significantly impact the duration and effectiveness of the process. We measure test effectiveness by calculating the average of the percentage of faults detected. In this thesis, we introduce variants of existing metrics to take parallel test execution, varying test execution times, and fault severity levels in ordinal scale into account. We also propose an approach for prioritizing such test cases that can be executed on multiple test stations in parallel. We employ integer linear programming for optimizing the allocation of test execution tasks on a set of available test stations. The goal of this allocation is to minimize the overall test execution time. Test cases that are allocated to a particular stations are executed in increasing order of their execution times. We conducted an industrial case study in the context of certification testing for Smart TV software. We used certification test suites of 3 Smart TV applications applied on 3 TV software projects as real experimental objects. We repeated our measurements for two test cycles for each project, adding up to 6 tests performed for each of the 3 test suites. So, our evaluation involves 18 test sessions. We evaluated 3 scenarios for each of these sessions, where the number of available test stations are 1, 3 and 5. We compared the effectiveness of our approach with respect to a greedy approach as the baseline. We observed that the overall test execution time can be reduced by up to 16\% even when only 3 test stations are available. Test effectiveness is also improved as a result of optimal scheduling of test cases.
Benzer Tezler
- Next-generation internet of energy harvesting things
Gelecek-nesil enerji hasadı yapan nesnelerin interneti
OKTAY ÇETİNKAYA
Doktora
İngilizce
2018
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ÖZGÜR BARIŞ AKAN
- Ofis yer seçimi kriterlerinin belirlenmesi: Anadolu Yakası A Sınıfı ofis piyasası örneği
Determination of office site selection criteria: Anatolian side Class A office market
DİLEK DİLAVER
Yüksek Lisans
Türkçe
2016
Şehircilik ve Bölge Planlamaİstanbul Teknik ÜniversitesiŞehir ve Bölge Planlama Ana Bilim Dalı
PROF. DR. EMİNE FERHAN GEZİCİ KORTEN
- İnşaatta sıva uygulamalarında iş sağlığı ve güvenliği risk değerlendirmesi
Occupational health and safety risk assessment in plaster applications in construction
MUSTAFA DOĞUKAN DURMUŞ
Yüksek Lisans
Türkçe
2024
Mimarlıkİstanbul Esenyurt Üniversitesiİş Sağlığı ve Güvenliği Ana Bilim Dalı
PROF. DR. HÜSEYİN BAŞLIGİL
- Gıda sektöründe stratejik iletişim yönetimi olarak konu yönetimi ve uygulamaları
Issues management in the food industry as a strategic communication management
MELTEM GÖKMEN TOL
Yüksek Lisans
Türkçe
2014
İletişim BilimleriGalatasaray Üniversitesiİletişim Ana Bilim Dalı
DOÇ. DR. KEREM RIZVANOĞLU