Using augmented reality interfaces for artificial intelligence systems
Yapay zeka sistemleri için artırılmış gerçeklik arayüzlerinin kullanılması
- Tez No: 864376
- Danışmanlar: DR. ÖĞR. ÜYESİ YAKUP GENÇ
- Tez Türü: Yüksek Lisans
- Konular: Bilim ve Teknoloji, Science and Technology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Gebze Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 105
Özet
Bu çalışmada, karmaşık derin öğrenme modellerinin aşamalarının daha hızlı anlaşılması ve incelenmesi için 3 boyutlu ortamda artırılmış gerçeklik arayüzleri kullanılarak yeni bir görselleştirme yolu tanıtılmıştır. Geleneksel olarak derin öğrenme modelleri üzerinde yapılan iki boyutlu görselleştirme metotlarından farklı olarak bu yaklaşımın amacı, kullanıcılara ek bir boyut sunmaktır. Bu bağlamda derin öğrenme modellerinin incelenmesi amacıyla 3 boyutlu artırılmış gerçeklik arayüzlerinin sunduğu avantajlar ve kullanıcı deneyimine etkileri değerlendirilmiştir. Kullanıcı görüşleri alınarak yapay zeka sistemlerinde hangi konuda görselleştirmenin faydalı olabileceğine karar verilmiştir. Bu aşamada tasarım odaklı düşünme yaklaşımı ile kullanıcı deneyimi süreçleri işlenerek nihai uygulama oluşturulmuştur. Derin öğrenme modellerinin tahmin etme sürecinde katmanlarda ilerlerken hangi aşamalardan geçip hangi öznitelik haritalarını çıkardığı, hangi girdiye odaklanıp, hangi girdinin çıktı üzerinde etkili olduğunu inceleyerek bir görüntünün sınıflandırma sonucuna nasıl ulaştığı görüntülenmiştir. Bunun için öncelikle öznitelik harita çıkarımı, birer CNN modeli olan Lenet ve Alexnet modelleri üzerinde uygulanmıştır. Uygulama 2 boyutlu ortam olarak bilgisayarda masaüstü uygulaması, 3 boyutlu ortamda da Microsoft Hololens-2 gözlüğünde AR uygulaması olarak 51 kullanıcıyla test edilmiştir. Derin öğrenme modellerinin izlenebilirliği konusunda 2 boyutlu ortamdaki arayüzler ile 3 boyutlu ortamda artırılmış gerçeklik arayüzlerinin kullanılabilirlik analizi yapılmıştır. Öncelikle A/B testi uygulanarak kullanıcılar kontrol ve deney grubu olarak iki gruba ayrılmış ve her bir gruba tek bir sistem deneyimletilmiştir. Kullanılabilirlik, SUM (Single Usability Metric) modeli adı verilen tamamlanma veya tamamlanmama durumlarını, tamamlanma sürelerini ve memnuniyeti içeren bir teknikle ölçülmüştür. Kullanıcılara görevler verilmiş ve görev sırasında ve sonrasında gözlem yapılmıştır. Memnuniyet, kullanıcı memnuniyeti ölçüm anketi olan ASQ (After Scenerio Questionerie) ile hesaplanmıştır. Sonrasında kullanmadıkları diğer sistem de denetilerek karşılaştırmalı yorumlar alınmıştır. Bu çalışmada artırılmış gerçeklik arayüzlerinin kullanılabilirliği %90 olarak ölçülmüştür. Kullanıcılardan alınan cevaplara göre gelişen bu teknolojinin karmaşık derin öğrenme modellerinde kayda değer bir fayda sağlayacağı sonucu elde edilmiştir. Bu sistemlerin insanların yapay zeka sistemlerini daha etkin bir şekilde kullanmalarına katkısı olacağına karar verilmiştir.
Özet (Çeviri)
In this study, a new way of visualization is introduced using augmented reality interfaces in a 3D environment for faster understanding and examination of the stages of complex deep learning models. Unlike two-dimensional visualization methods traditionally based on deep learning models, the aim of this approach is to offer users an additional dimension. In this context, in order to examine deep learning models, the advantages offered by 3D augmented reality interfaces and their effects on user experience were evaluated. By taking user opinions, it was decided which visualizations would be useful in artificial intelligence systems. At this stage, the final application was created by processing user experience processes with a design-oriented thinking approach. As the deep learning models progress through the layers in the prediction process, it is displayed how they reach the classification result of an image by examining which stages they go through and which feature maps they produce, which input they focus on, and which input is effective on the output. For this purpose, feature map extraction was first applied on Lenet and Alexnet models, which are CNN models. The application was tested with 51 users in a 2D environment as a desktop application on a computer, and in a 3D environment as an AR application on Microsoft Hololens-2 glasses. Regarding the traceability of deep learning models, a usability analysis of interfaces in 2D environment and augmented reality interfaces in 3D environment was conducted. First of all, by applying A/B testing, users were divided into two groups, control and experimental groups, and each group was given a single system experience. Usability was measured with a technique called the SUM (Single Usability Metric) model, which includes completion or non-completion, completion times and satisfaction. Users were given tasks and observations were made during and after the task. Satisfaction was calculated with ASQ, which is a user satisfaction measurement survey. Afterwards, the other system they did not use was also tested and comparative comments were made. In this study, the usability of augmented reality interfaces was measured as 90%. It has been concluded that this technology, developed according to the answers received from users, will provide significant benefit in complex deep learning models. It was decided that these systems would contribute to people's use of artificial intelligence systems more effectively.
Benzer Tezler
- Mariot: an authoring framework for creating iot applications with mobile augmented reality
Marıot: mobil artırılmış gerçeklik ile nesnelerin interneti uygulamaları üretmek için bir yapılandırma çerçevesi
MERAL KUYUCU
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKHAN İNCE
- Pazarlama stratejileri açısından Omnichannel'in önemi ve bir araştırma
The importance of Omnichannel in terms of marketing strategies and a research
FURKAN ERSOY
- Artırılmış gerçeklik ile kullanıcıların yaşadığı şehri oyun alanına çeviren konsept oyun tasarımı
Concept game design that turns the city where users live into a playground with augmented reality
FATİH SAĞLAMBİLEN
Yüksek Lisans
Türkçe
2024
Güzel SanatlarAnkara Hacı Bayram Veli ÜniversitesiGörsel İletişim Tasarımı Ana Sanat Dalı
DOÇ. DR. SERRA ERDEM
- Medya cepheleri ve mimarlık ilişkisinin incelenmesi
Researching the relationship between media facades and architecture
DEMET BAŞARAN
Yüksek Lisans
Türkçe
2016
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
DOÇ. DR. FATMA ERKÖK
- Mimari tasarım sürecinin erken aşamasında kullanılacak artırılmış gerçeklik uygulamalarının geliştirilmesi için bir yöntem önerisi
A new approach for development of a mobile augmented reality application to be used in the early phases of the architectural design process
MAHMUT ÇAĞDAŞ DURMAZOĞLU
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilişim Ana Bilim Dalı
PROF. DR. LEMAN FİGEN GÜL