Geri Dön

Automated generation of mobile UI layout files via a custom GUI element detection model trained with YOLOv5

YOLOv5 ile eğitilmiş özel GUI öğesi algılama modeli aracılığıyla mobil UI tasarım dosyalarının otomatik olarak oluşturulması

  1. Tez No: 788860
  2. Yazar: MEHMET DOĞAN ALTINBAŞ
  3. Danışmanlar: DR. ÖĞR. ÜYESİ TACHA SERIF
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: Yeditepe Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 78

Özet

Mobil uygulama geliştirmede, tutarlı bir kullanıcı arabirimi (UI) oluşturmak maliyetli ve zaman alan bir süreç olabilir. Bu, özellikle bir kuruluşun iOS ve Android gibi her bir mobil platform için ayrı bir ekibi olması durumunda geçerlidir. Bu bağlamda, UI tasarım görevlerinin meşakkatli kısımlarından biri, bir grafik kullanıcı arayüzü (GUI) oluşturmaktır. Buna göre, bu çalışma YOLOv5'i belirli bir UI görüntüsündeki GUI öğelerini tanıyan özel bir nesne algılama modeli oluşturmak için kullanmayı amaçlamaktadır. Yeni eğitilen YOLOv5 GUI öğe algılama modelini karşılaştırmak için, literatürdeki mevcut çalışmalar ve bunların veri kümeleri dikkate alınır ve karşılaştırma amacıyla kullanılır. Bu nedenle, bu çalışma test için VINS veri setinin 450 UI örneğini, doğrulama için benzer bir miktarı ve model eğitimi için geri kalanını kullanır. Daha sonra bu çalışmanın bulguları, modelini eğitmek, doğrulamak ve test etmek için tek atış dedektörü (SSD) algoritmasını ve VINS veri setini kullanan başka bir çalışma ile karşılaştırıldı ve önerilen algoritmanın SSD'nin ortalama ortalama kesinliğini (mAP) %15,69 oranında geride bıraktığını gösterdi. Ayrıca, bu çalışma belirli bir mobil kullanıcı arayüzü tasarımının iOS ve Android kullanıcı arayüzü düzen dosyalarını oluşturmak için bu özel GUI öğe algılama modelini kullanan bir çerçeve önermektedir. Bu şekilde, bu çerçeve, algılanan GUI öğelerinin özniteliklerini keşfetmek ve çıkarmak için makine öğrenimi algoritmalarını kullanır. Ardından, çerçeve, iOS ve Android platformları için kullanıcı arabirimi düzen dosyaları oluşturmak üzere bu öznitelikleri kullanır. Bu çerçeveyi değerlendirmek için, VINS veri setinden 5 test görseli rastgele seçildi ve çerçeveye girdi olarak verildi. Çerçeve, her test görüntüsü için iOS ve Android UI düzen dosyaları oluşturdu. Daha sonra, kullanıcı arabirimi düzen dosyalarının önizlemesi ekran görüntüleri olarak yakalanmış ve görüntü benzerliği metrikleri kullanılarak giriş testi görüntüsüyle karşılaştırılmıştır. Test sonuçları, önerilen çerçevenin oluşturulan iOS ve Android UI tasarımlarında sırasıyla 0.731 ve 0.703 ortalama yapısal benzerlik (SSIM) puanı elde ettiğini ortaya koydu. Ayrıca çerçeve, verilen test görüntülerinde ortalama olarak iOS için %83.41 ve Android platformları için %81.29 piksel tabanlı benzerliğe sahip UI tasarımları sağlamıştır.

Özet (Çeviri)

In mobile application development, building a consistent user interface (UI) might be a costly and time-consuming process. This is especially the case if an organization has a separate team for each mobile platform such as iOS and Android. In this regard, one of the most parts of the UI design task is creating a graphical user interface (GUI). Accordingly, this study aims to employ the YOLOv5 to create a custom object detection model that recognizes GUI elements in a given UI image. In order to benchmark the newly trained YOLOv5 GUI element detection model, existing work from the literature and their datasets are considered and used for comparison purposes. Accordingly, this study makes use of 450 UI samples of the VINS dataset for testing, a similar amount for validation, and the rest for model training. Then the findings of this work are compared with another study that has used the single shot detector (SSD) algorithm and VINS dataset to train, validate and test its model, which showed that the proposed algorithm outperformed SSD's mean average precision (mAP) by 15.69%. Moreover, this study proposes a framework that utilizes this custom GUI element detection model to generate iOS and Android UI layout files of a given mobile UI design. Thus, this framework uses machine learning algorithms to explore and extract the attributes of the detected GUI elements. Then, the framework engages in these attributes to generate UI layout files for iOS and Android platforms. To evaluate this framework, 5 test images from the VINS dataset were randomly selected and given as input for the framework. The framework generated iOS and Android UI layout files for each test image. Lastly, the preview of the UI layout files has been captured as screenshots and compared with its input test image using image similarity metrics. The test results revealed that the proposed framework has obtained an average structural similarity (SSIM) score of 0.731 and 0.703 on generated iOS and Android UI designs respectively. Moreover, on average, the framework has yielded UI designs with pixel-based similarity of 83.41% for iOS and 81.29% for Android platforms on given test images.

Benzer Tezler

  1. Domain-specific modeling based feature-oriented automatic test generation methodology for software product lines

    Yazılım üretim hatları için alana özgü modelleme temelli özellik odaklı otomatık test üretme metodolojisi

    SERCAN ŞENSÜLÜN

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Yüksek Teknoloji Enstitüsü

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TUĞKAN TUĞLULAR

  2. The possibility of using machine learning to extract the user actions from the mobile devices data

    Başlık çevirisi yok

    HUDA ABDULWAHID ABBAS

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Bilim ve TeknolojiAltınbaş Üniversitesi

    Bilişim Teknolojileri Ana Bilim Dalı

    PROF. DR. OSMAN NURİ UÇAN

  3. Innovation in banking through mobile solutions and its future implications

    İnovasyon bankacılığında mobil çözümler ve gelecekteki etkileri

    NESLİHAN HAZERLİ

    Yüksek Lisans

    İngilizce

    İngilizce

    2013

    BankacılıkYeditepe Üniversitesi

    İşletme (İngilizce) Ana Bilim Dalı

    YRD. DOÇ. DR. METEHAN İNCEGÜL

  4. An automated black-box model discovery with systematic sampling on android mobile applications

    Android uygulamalarda sistematik örnekleme ile otomatikleştirilmiş model keşif yaklaşımı

    ÖMER KORKMAZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    DOÇ. DR. CEMAL YILMAZ

  5. Object tracking system with seamless object handover between stationary and moving camera modes

    Durağan ve hareketli kamera kiplerinde kesintisiz nesne devirli nesne takip sistemi

    DENİZ EMEKSİZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2012

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilişim Sistemleri Bölümü

    YRD. DOÇ. ALPTEKİN TEMİZEL