Geri Dön

Using augmented reality interfaces for artificial intelligence systems

Yapay zeka sistemleri için artırılmış gerçeklik arayüzlerinin kullanılması

  1. Tez No: 864376
  2. Yazar: BÜŞRA ÖZTÜRK
  3. Danışmanlar: DR. ÖĞR. ÜYESİ YAKUP GENÇ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilim ve Teknoloji, Science and Technology
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: Gebze Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 105

Özet

Bu çalışmada, karmaşık derin öğrenme modellerinin aşamalarının daha hızlı anlaşılması ve incelenmesi için 3 boyutlu ortamda artırılmış gerçeklik arayüzleri kullanılarak yeni bir görselleştirme yolu tanıtılmıştır. Geleneksel olarak derin öğrenme modelleri üzerinde yapılan iki boyutlu görselleştirme metotlarından farklı olarak bu yaklaşımın amacı, kullanıcılara ek bir boyut sunmaktır. Bu bağlamda derin öğrenme modellerinin incelenmesi amacıyla 3 boyutlu artırılmış gerçeklik arayüzlerinin sunduğu avantajlar ve kullanıcı deneyimine etkileri değerlendirilmiştir. Kullanıcı görüşleri alınarak yapay zeka sistemlerinde hangi konuda görselleştirmenin faydalı olabileceğine karar verilmiştir. Bu aşamada tasarım odaklı düşünme yaklaşımı ile kullanıcı deneyimi süreçleri işlenerek nihai uygulama oluşturulmuştur. Derin öğrenme modellerinin tahmin etme sürecinde katmanlarda ilerlerken hangi aşamalardan geçip hangi öznitelik haritalarını çıkardığı, hangi girdiye odaklanıp, hangi girdinin çıktı üzerinde etkili olduğunu inceleyerek bir görüntünün sınıflandırma sonucuna nasıl ulaştığı görüntülenmiştir. Bunun için öncelikle öznitelik harita çıkarımı, birer CNN modeli olan Lenet ve Alexnet modelleri üzerinde uygulanmıştır. Uygulama 2 boyutlu ortam olarak bilgisayarda masaüstü uygulaması, 3 boyutlu ortamda da Microsoft Hololens-2 gözlüğünde AR uygulaması olarak 51 kullanıcıyla test edilmiştir. Derin öğrenme modellerinin izlenebilirliği konusunda 2 boyutlu ortamdaki arayüzler ile 3 boyutlu ortamda artırılmış gerçeklik arayüzlerinin kullanılabilirlik analizi yapılmıştır. Öncelikle A/B testi uygulanarak kullanıcılar kontrol ve deney grubu olarak iki gruba ayrılmış ve her bir gruba tek bir sistem deneyimletilmiştir. Kullanılabilirlik, SUM (Single Usability Metric) modeli adı verilen tamamlanma veya tamamlanmama durumlarını, tamamlanma sürelerini ve memnuniyeti içeren bir teknikle ölçülmüştür. Kullanıcılara görevler verilmiş ve görev sırasında ve sonrasında gözlem yapılmıştır. Memnuniyet, kullanıcı memnuniyeti ölçüm anketi olan ASQ (After Scenerio Questionerie) ile hesaplanmıştır. Sonrasında kullanmadıkları diğer sistem de denetilerek karşılaştırmalı yorumlar alınmıştır. Bu çalışmada artırılmış gerçeklik arayüzlerinin kullanılabilirliği %90 olarak ölçülmüştür. Kullanıcılardan alınan cevaplara göre gelişen bu teknolojinin karmaşık derin öğrenme modellerinde kayda değer bir fayda sağlayacağı sonucu elde edilmiştir. Bu sistemlerin insanların yapay zeka sistemlerini daha etkin bir şekilde kullanmalarına katkısı olacağına karar verilmiştir.

Özet (Çeviri)

In this study, a new way of visualization is introduced using augmented reality interfaces in a 3D environment for faster understanding and examination of the stages of complex deep learning models. Unlike two-dimensional visualization methods traditionally based on deep learning models, the aim of this approach is to offer users an additional dimension. In this context, in order to examine deep learning models, the advantages offered by 3D augmented reality interfaces and their effects on user experience were evaluated. By taking user opinions, it was decided which visualizations would be useful in artificial intelligence systems. At this stage, the final application was created by processing user experience processes with a design-oriented thinking approach. As the deep learning models progress through the layers in the prediction process, it is displayed how they reach the classification result of an image by examining which stages they go through and which feature maps they produce, which input they focus on, and which input is effective on the output. For this purpose, feature map extraction was first applied on Lenet and Alexnet models, which are CNN models. The application was tested with 51 users in a 2D environment as a desktop application on a computer, and in a 3D environment as an AR application on Microsoft Hololens-2 glasses. Regarding the traceability of deep learning models, a usability analysis of interfaces in 2D environment and augmented reality interfaces in 3D environment was conducted. First of all, by applying A/B testing, users were divided into two groups, control and experimental groups, and each group was given a single system experience. Usability was measured with a technique called the SUM (Single Usability Metric) model, which includes completion or non-completion, completion times and satisfaction. Users were given tasks and observations were made during and after the task. Satisfaction was calculated with ASQ, which is a user satisfaction measurement survey. Afterwards, the other system they did not use was also tested and comparative comments were made. In this study, the usability of augmented reality interfaces was measured as 90%. It has been concluded that this technology, developed according to the answers received from users, will provide significant benefit in complex deep learning models. It was decided that these systems would contribute to people's use of artificial intelligence systems more effectively.

Benzer Tezler

  1. Mariot: an authoring framework for creating iot applications with mobile augmented reality

    Marıot: mobil artırılmış gerçeklik ile nesnelerin interneti uygulamaları üretmek için bir yapılandırma çerçevesi

    MERAL KUYUCU

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. GÖKHAN İNCE

  2. Pazarlama stratejileri açısından Omnichannel'in önemi ve bir araştırma

    The importance of Omnichannel in terms of marketing strategies and a research

    FURKAN ERSOY

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    İşletmeGalatasaray Üniversitesi

    İşletme Ana Bilim Dalı

    PROF. DR. ÖZGÜR ÇENGEL

  3. Artırılmış gerçeklik ile kullanıcıların yaşadığı şehri oyun alanına çeviren konsept oyun tasarımı

    Concept game design that turns the city where users live into a playground with augmented reality

    FATİH SAĞLAMBİLEN

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Güzel SanatlarAnkara Hacı Bayram Veli Üniversitesi

    Görsel İletişim Tasarımı Ana Sanat Dalı

    DOÇ. DR. SERRA ERDEM

  4. Medya cepheleri ve mimarlık ilişkisinin incelenmesi

    Researching the relationship between media facades and architecture

    DEMET BAŞARAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2016

    Mimarlıkİstanbul Teknik Üniversitesi

    Mimarlık Ana Bilim Dalı

    DOÇ. DR. FATMA ERKÖK

  5. Mimari tasarım sürecinin erken aşamasında kullanılacak artırılmış gerçeklik uygulamalarının geliştirilmesi için bir yöntem önerisi

    A new approach for development of a mobile augmented reality application to be used in the early phases of the architectural design process

    MAHMUT ÇAĞDAŞ DURMAZOĞLU

    Doktora

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilişim Ana Bilim Dalı

    PROF. DR. LEMAN FİGEN GÜL