Geri Dön

Prioritization and parallel execution of test cases for certification testing

Sertifikasyon testi için test senaryolarının önceliklendirilmesi ve paralel yürütülmesi

  1. Tez No: 697270
  2. Yazar: ŞAHİN DİRİM
  3. Danışmanlar: DOÇ. DR. HASAN SÖZER
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: İngilizce
  9. Üniversite: Özyeğin Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 102

Özet

Tüketici elektroniği alanında geliştirilen sistemler düzenli olarak sertifikasyon testinetabidir. Örneğin her Smart TV ürünü Netflix, YouTube ve Amazon gibi uygulama satıcıları tarafından düzenlenen bir sertifika sürecinden geçmelidir. Her bir uygulama ile ilgili sertifikasyon sürecinin bir parçası olarak kullanılacak ayrı bir test grubu vardır. Her test grubu yüzlerce test senaryosu içermektedir. Bu test senaryolarının çoğunun manuel olarak yürütülmesi gerekmektedir. Bu nedenle sertifika test gruplarının koşumunun tamamlanması birkaç gün sürebilmektedir. Ayrıca test senaryolarının yürütme süreleri ve test senaryolarının bulduğu hataların önem dereceleri arasında da büyük farklılıklar vardır. Bu nedenle test senaryolarının önceliklendirilmesi ve paralel olarak yürütülmesi, test yürütme sürecinin süresini ve etkinliğini önemli ölçüde etkileyebilmektedir. Tespit edilen hataların yüzdesinin ortalaması hesaplanarak test etkinliği ölçülmektedir. Bu tezde, paralel test yürütmeyi,değişen test yürütme sürelerini ve hata önem dereceleri sıralı ölçekte hesaba katacak şekilde mevcut metriklerin varyantları sunulmuştur. Ayrıca birden çok test istasyonunda paralel olarak yürütülebilecek bu tür test senaryolarının sıralanması için bir yaklaşım önerilmiştir. Bir dizi mevcut test istasyonunda test yürütme planlarının paylaşımını eniyilemek için tam sayı doğrusal programlama kullanılmıştır. Bu paylaşımın amacı, genel test yürütme süresini en aza indirmektir. Belirli bir test istasyonuna paylaştırılan test senaryolarının yürütme sürelerinin artan sırasına göre koşumu tamamlanmıştır. Smart TV yazılımı için sertifika testi bağlamında endüstriyel bir vaka çalışması gerçekleştirilmiştir. Sertifika test grupları, 3 TV yazılım projesinde kullanılan 3 farklı Smart TV uygulaması üzerinde gerçek deneysel nesneler olarak kullanılmıştır. Her proje için iki test döngüsü olarak ölçümlerimiz tekrarlanmıştır ve 3 test grubunun her biri için 6 test koşumu gerçekleştirilmiştir. Sonuç olarak değerlendirmemiz 18 test oturumu içermektedir. Bu oturumların her biri, mevcut test istasyonlarının sayısının 1, 3 ve 5 olduğu 3 senaryo ile değerlendirilmiştir. Yaklaşımımızın etkinliği temel olarak açgözlü yaklaşımla karşılaştırılmıştır. Yalnızca 3 test kurulumu mevcut olduğunda bile genel test yürütme süresinin %16'ya kadar azaltılabileceği gözlemlenmiştir. Test senaryolarının test istasyonlarına paylaşımının eniyilemesi sonucunda test etkinliği de iyileşmiştir.

Özet (Çeviri)

Systems that are developed in the consumer electronics domain are subject to testing for certification regularly. For instance, each Smart TV product must go through a certification process that is regulated by application vendors like Netflix, YouTube and Amazon. There exist a separate test suite to be used as part of the certification process pertaining to each application. Each test suite includes hundreds of test cases. Many of these test cases have to be executed manually and it might take several days to complete the execution of certification test suites. There also exists a high variation among the execution times of test cases and severities of faults detected by these test cases. Therefore, prioritization of test cases and parallel test execution can significantly impact the duration and effectiveness of the process. We measure test effectiveness by calculating the average of the percentage of faults detected. In this thesis, we introduce variants of existing metrics to take parallel test execution, varying test execution times, and fault severity levels in ordinal scale into account. We also propose an approach for prioritizing such test cases that can be executed on multiple test stations in parallel. We employ integer linear programming for optimizing the allocation of test execution tasks on a set of available test stations. The goal of this allocation is to minimize the overall test execution time. Test cases that are allocated to a particular stations are executed in increasing order of their execution times. We conducted an industrial case study in the context of certification testing for Smart TV software. We used certification test suites of 3 Smart TV applications applied on 3 TV software projects as real experimental objects. We repeated our measurements for two test cycles for each project, adding up to 6 tests performed for each of the 3 test suites. So, our evaluation involves 18 test sessions. We evaluated 3 scenarios for each of these sessions, where the number of available test stations are 1, 3 and 5. We compared the effectiveness of our approach with respect to a greedy approach as the baseline. We observed that the overall test execution time can be reduced by up to 16\% even when only 3 test stations are available. Test effectiveness is also improved as a result of optimal scheduling of test cases.

Benzer Tezler

  1. Next-generation internet of energy harvesting things

    Gelecek-nesil enerji hasadı yapan nesnelerin interneti

    OKTAY ÇETİNKAYA

    Doktora

    İngilizce

    İngilizce

    2018

    Elektrik ve Elektronik MühendisliğiKoç Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. ÖZGÜR BARIŞ AKAN

  2. Ofis yer seçimi kriterlerinin belirlenmesi: Anadolu Yakası A Sınıfı ofis piyasası örneği

    Determination of office site selection criteria: Anatolian side Class A office market

    DİLEK DİLAVER

    Yüksek Lisans

    Türkçe

    Türkçe

    2016

    Şehircilik ve Bölge Planlamaİstanbul Teknik Üniversitesi

    Şehir ve Bölge Planlama Ana Bilim Dalı

    PROF. DR. EMİNE FERHAN GEZİCİ KORTEN

  3. Milletlerarası özel hukukta iflâs

    Insolvency in private international law

    OĞUZ DORKEN

    Doktora

    Türkçe

    Türkçe

    2024

    HukukGalatasaray Üniversitesi

    Özel Hukuk Ana Bilim Dalı

    DOÇ. DR. BERK DEMİRKOL

  4. İnşaatta sıva uygulamalarında iş sağlığı ve güvenliği risk değerlendirmesi

    Occupational health and safety risk assessment in plaster applications in construction

    MUSTAFA DOĞUKAN DURMUŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Mimarlıkİstanbul Esenyurt Üniversitesi

    İş Sağlığı ve Güvenliği Ana Bilim Dalı

    PROF. DR. HÜSEYİN BAŞLIGİL

  5. Gıda sektöründe stratejik iletişim yönetimi olarak konu yönetimi ve uygulamaları

    Issues management in the food industry as a strategic communication management

    MELTEM GÖKMEN TOL

    Yüksek Lisans

    Türkçe

    Türkçe

    2014

    İletişim BilimleriGalatasaray Üniversitesi

    İletişim Ana Bilim Dalı

    DOÇ. DR. KEREM RIZVANOĞLU