Automated generation of mobile UI layout files via a custom GUI element detection model trained with YOLOv5
YOLOv5 ile eğitilmiş özel GUI öğesi algılama modeli aracılığıyla mobil UI tasarım dosyalarının otomatik olarak oluşturulması
- Tez No: 788860
- Danışmanlar: DR. ÖĞR. ÜYESİ TACHA SERIF
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Yeditepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 78
Özet
Mobil uygulama geliştirmede, tutarlı bir kullanıcı arabirimi (UI) oluşturmak maliyetli ve zaman alan bir süreç olabilir. Bu, özellikle bir kuruluşun iOS ve Android gibi her bir mobil platform için ayrı bir ekibi olması durumunda geçerlidir. Bu bağlamda, UI tasarım görevlerinin meşakkatli kısımlarından biri, bir grafik kullanıcı arayüzü (GUI) oluşturmaktır. Buna göre, bu çalışma YOLOv5'i belirli bir UI görüntüsündeki GUI öğelerini tanıyan özel bir nesne algılama modeli oluşturmak için kullanmayı amaçlamaktadır. Yeni eğitilen YOLOv5 GUI öğe algılama modelini karşılaştırmak için, literatürdeki mevcut çalışmalar ve bunların veri kümeleri dikkate alınır ve karşılaştırma amacıyla kullanılır. Bu nedenle, bu çalışma test için VINS veri setinin 450 UI örneğini, doğrulama için benzer bir miktarı ve model eğitimi için geri kalanını kullanır. Daha sonra bu çalışmanın bulguları, modelini eğitmek, doğrulamak ve test etmek için tek atış dedektörü (SSD) algoritmasını ve VINS veri setini kullanan başka bir çalışma ile karşılaştırıldı ve önerilen algoritmanın SSD'nin ortalama ortalama kesinliğini (mAP) %15,69 oranında geride bıraktığını gösterdi. Ayrıca, bu çalışma belirli bir mobil kullanıcı arayüzü tasarımının iOS ve Android kullanıcı arayüzü düzen dosyalarını oluşturmak için bu özel GUI öğe algılama modelini kullanan bir çerçeve önermektedir. Bu şekilde, bu çerçeve, algılanan GUI öğelerinin özniteliklerini keşfetmek ve çıkarmak için makine öğrenimi algoritmalarını kullanır. Ardından, çerçeve, iOS ve Android platformları için kullanıcı arabirimi düzen dosyaları oluşturmak üzere bu öznitelikleri kullanır. Bu çerçeveyi değerlendirmek için, VINS veri setinden 5 test görseli rastgele seçildi ve çerçeveye girdi olarak verildi. Çerçeve, her test görüntüsü için iOS ve Android UI düzen dosyaları oluşturdu. Daha sonra, kullanıcı arabirimi düzen dosyalarının önizlemesi ekran görüntüleri olarak yakalanmış ve görüntü benzerliği metrikleri kullanılarak giriş testi görüntüsüyle karşılaştırılmıştır. Test sonuçları, önerilen çerçevenin oluşturulan iOS ve Android UI tasarımlarında sırasıyla 0.731 ve 0.703 ortalama yapısal benzerlik (SSIM) puanı elde ettiğini ortaya koydu. Ayrıca çerçeve, verilen test görüntülerinde ortalama olarak iOS için %83.41 ve Android platformları için %81.29 piksel tabanlı benzerliğe sahip UI tasarımları sağlamıştır.
Özet (Çeviri)
In mobile application development, building a consistent user interface (UI) might be a costly and time-consuming process. This is especially the case if an organization has a separate team for each mobile platform such as iOS and Android. In this regard, one of the most parts of the UI design task is creating a graphical user interface (GUI). Accordingly, this study aims to employ the YOLOv5 to create a custom object detection model that recognizes GUI elements in a given UI image. In order to benchmark the newly trained YOLOv5 GUI element detection model, existing work from the literature and their datasets are considered and used for comparison purposes. Accordingly, this study makes use of 450 UI samples of the VINS dataset for testing, a similar amount for validation, and the rest for model training. Then the findings of this work are compared with another study that has used the single shot detector (SSD) algorithm and VINS dataset to train, validate and test its model, which showed that the proposed algorithm outperformed SSD's mean average precision (mAP) by 15.69%. Moreover, this study proposes a framework that utilizes this custom GUI element detection model to generate iOS and Android UI layout files of a given mobile UI design. Thus, this framework uses machine learning algorithms to explore and extract the attributes of the detected GUI elements. Then, the framework engages in these attributes to generate UI layout files for iOS and Android platforms. To evaluate this framework, 5 test images from the VINS dataset were randomly selected and given as input for the framework. The framework generated iOS and Android UI layout files for each test image. Lastly, the preview of the UI layout files has been captured as screenshots and compared with its input test image using image similarity metrics. The test results revealed that the proposed framework has obtained an average structural similarity (SSIM) score of 0.731 and 0.703 on generated iOS and Android UI designs respectively. Moreover, on average, the framework has yielded UI designs with pixel-based similarity of 83.41% for iOS and 81.29% for Android platforms on given test images.
Benzer Tezler
- Domain-specific modeling based feature-oriented automatic test generation methodology for software product lines
Yazılım üretim hatları için alana özgü modelleme temelli özellik odaklı otomatık test üretme metodolojisi
SERCAN ŞENSÜLÜN
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Yüksek Teknoloji EnstitüsüBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. TUĞKAN TUĞLULAR
- The possibility of using machine learning to extract the user actions from the mobile devices data
Başlık çevirisi yok
HUDA ABDULWAHID ABBAS
Yüksek Lisans
İngilizce
2020
Bilim ve TeknolojiAltınbaş ÜniversitesiBilişim Teknolojileri Ana Bilim Dalı
PROF. DR. OSMAN NURİ UÇAN
- Innovation in banking through mobile solutions and its future implications
İnovasyon bankacılığında mobil çözümler ve gelecekteki etkileri
NESLİHAN HAZERLİ
Yüksek Lisans
İngilizce
2013
BankacılıkYeditepe Üniversitesiİşletme (İngilizce) Ana Bilim Dalı
YRD. DOÇ. DR. METEHAN İNCEGÜL
- An automated black-box model discovery with systematic sampling on android mobile applications
Android uygulamalarda sistematik örnekleme ile otomatikleştirilmiş model keşif yaklaşımı
ÖMER KORKMAZ
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. DR. CEMAL YILMAZ
- Object tracking system with seamless object handover between stationary and moving camera modes
Durağan ve hareketli kamera kiplerinde kesintisiz nesne devirli nesne takip sistemi
DENİZ EMEKSİZ
Yüksek Lisans
İngilizce
2012
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilişim Sistemleri Bölümü
YRD. DOÇ. ALPTEKİN TEMİZEL