Artırılmış gerçeklik uygulamalarında nesnelerin sesle kontrol edilmesi
Voice control of objects in augmented reality applications
- Tez No: 783280
- Danışmanlar: DOÇ. DR. ALİ ÖZTÜRK
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: KTO Karatay Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik ve Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 60
Özet
Artırılmış gerçeklik (AG), bilgisayar ortamında oluşturulan 3 Boyutlu (3B) sanal nesneleri gerçek dünya görüntüleri ile birleştiren bir teknolojidir. Bu şekilde oluşturulan sahnede sanal nesnelerle gerçek zamanlı olarak etkileşim kurmak mümkündür. AG teknolojisi uygulamaları eğitim, savunma, tıp, e-ticaret, imalat, turizm ve daha birçok alanda kullanılmaktadır. AG ortamında ses ile etkileşim, uygulamalarda kullanım kolaylığı sağlar. Bu çalışmada Unity yazılımında Vuforia paketi kullanılarak oluşturulan AG ortamındaki sanal nesnelerin sesle kontrolü sağlanmıştır. Bu amaçla farklı cinsiyetten iki kişiden alınan beş farklı komutun ses kayıtları ile bir veri seti oluşturulmuştur. Ses verilerinden elde edilen Mel-frekans Kepstral Katsayıları (MFKK), Doğrusal Tahmini Kodlama (DTK) ve Mel-spektrogram özellikleri Karar Ağacı (KA), Rastgele Orman (RO) ve Destek Vektör Makineleri (DVM) algoritmalarına uygulanmış ve sonuçlar karşılaştırılmıştır. En iyi doğruluk oranları erkek sesi veri setinde RO için %87, kadın sesi veri setinde DVM için %89 olarak bulunmuştur. İki veri setinin birleşiminden oluşan veri seti için doğruluk oranı hem RO hem de DVM için %85 olarak bulunmuştur. Öte yandan, MFKK öznitelikleri ile Dinamik Zaman Bükme (DZB) yöntemini kullanan k-En Yakın Komşu (kEYK) algoritmasının doğruluk oranı erkek sesi veri setleri için %89 ve kadın sesi veri setleri için %88 olarak bulunmuştur. İki veri setinin birleşiminden oluşan veri seti için kEYK doğruluk oranı %83 olarak bulunmuştur. Tüm makine öğrenimi algoritmaları için sonuçlar çapraz doğrulama ile elde edilmiştir.
Özet (Çeviri)
Augmented reality (AR) is a technology that combines 3 Dimensional (3D) virtual objects created in a computer environment with real world images. In the scene created in this way, it is possible to interact with virtual objects in real time. AR technology applications are used in education, defense, medicine, e-commerce, manufacturing, tourism and many more. Interaction with voice in AR environment provides ease of use in applications. In this study, voice control of virtual objects in the AR environment created by using the Vuforia package in Unity software is provided. For this purpose, a data set was created with voice recordings of five different commands taken from two people of different genders. Mel-frequency Cepstral Coefficients (MFCC), Linear Predictive Coding (LPC) and Mel-spectrogram features obtained from audio data were applied to Decision Tree (DT), Random Forest (RF) and Support Vector Machines (SVM) algorithms and the results were compared. The best accuracy rates were found to be 87% for RF in male voice dataset and 89% for SVM in female voice dataset. The accuracy rate for the data set consisting of the combination of the two data sets was found to be 85% for both RF and SVM. On the other hand, the accuracy of the k-Nearest Neighbor (kNN) algorithm, which uses the Dynamic Time Warping (DTW) method with MFCC features, was found to be 89% for male voice datasets and 88% for female voice datasets. For the data set consisting of the combination of the two data sets, the accuracy rate of kNN was found to be 83%. Results for all machine learning algorithms were obtained by cross validation.
Benzer Tezler
- Virtual and augmented reality based interfaces for choreography generation
Koregrafi üretimi için sanal ve artırılmış gerçeklik tabanlı arayüzler
TAFADZWA JOSEPH DUBE
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar ve Bilişim Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. GÖKHAN İNCE
- The effect of visual narrative language of color codes in Youssef Chahine's cinema
Youssef Chahine sinemasında renk kodlarının görsel anlatı diline etkisi
MARİAM MAHROUS
Yüksek Lisans
İngilizce
2024
Radyo-TelevizyonEge ÜniversitesiRadyo Televizyon ve Sinema Ana Bilim Dalı
PROF. DR. ALEV FATOŞ PARSA
Assist. Prof. Dr. ELÇİN AS
- Dijital dönüşüm sürecinin turizm sektörüne yansımaları: Akıllı turizm teknolojileri kullanımına yönelik bir araştırma
Reflections of the digital transformation process in the tourism sector: A research on the use of smart tourism technologies
EDA HAZARHUN
Doktora
Türkçe
2022
TurizmDokuz Eylül ÜniversitesiTurizm İşletmeciliği Ana Bilim Dalı
DOÇ. DR. ÖZGÜR DEVRİM YILMAZ
- Artırılmış gerçeklik uygulamalarında teknolojik yatkınlığın müşteri deneyimi ve satın alma niyeti üzerindeki etkisi
The effect of technological readiness on customer experience and purchasing intention in augmented reality applications
AYŞENUR YILMAZER
- Mariot: an authoring framework for creating iot applications with mobile augmented reality
Marıot: mobil artırılmış gerçeklik ile nesnelerin interneti uygulamaları üretmek için bir yapılandırma çerçevesi
MERAL KUYUCU
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKHAN İNCE