El hareketlerinin derin öğrenme tabanlı tanınması ve artırılmış gerçeklik uygulaması geliştirme
Deep learning based recognition of hand gestures and development of augmented reality application
- Tez No: 689227
- Danışmanlar: PROF. DR. İBRAHİM YÜCEDAĞ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Düzce Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 116
Özet
Son yıllarda gelişen teknoloji ile birlikte insan-bilgisayar etkileşimi çalışmaları yaygınlaşmıştır. Özellikle artırılmış gerçeklik uygulamaları insan bilgisayar etkileşimi alanında yaygınlaşan bir çalışma alanı olmuştur. Görüntü işleme alanında ise derin öğrenme yöntemlerinin kullanılmasıyla birlikte son yıllarda önemli gelişmeler yaşanmıştır. Nesne tanıma, nesne sınıflandırma, yüz tanıma, hareket tanıma ve el hareketi tanıma uygulamaları, derin öğrenme yöntemleri sayesinde artık günlük hayatta kullanılan cihazlarda etkin bir şekilde kullanılmaktadır. Bu çalışmada, insan-bilgisayar etkileşiminde önemli bir rol oynayan artırılmış gerçeklik teknolojileri araştırılmıştır. Derin öğrenme ile el hareketi tanıma modeli geliştirilmiş ve el hareketleri ile kontrol edilebilen bir artırılmış gerçeklik uygulaması tasarlanmıştır. El hareketi tanıma ve sınıflandırması için evrişimli sinir ağı ile kapsül ağ algoritması kullanılarak hibrit bir model oluşturulmuştur. 14 farklı el hareketi içeren toplam 14000 görüntüden oluşan HandGesture14 (HG14) adlı bir veri seti oluşturulmuştur. Önerilen modelin nesne tanımadaki başarısını ölçmek için HG14, Fashion-MNIST ve CIFAR-10 veri setleri üzerinde derin öğrenme önerilen hibrit model ile VGG16, ResNet50, DenseNet121, MobileNet, InceptionV3 ve CapsNet modelleri kullanılarak eğitimler gerçekleştirilmiştir. Eğitimlerin sonuçları karşılaştırılmış ve doğruluk oranları değerlendirilmiştir. Önerilen hibrit model, HG14 veri setinde %90, Fashion-MNIST veri setinde %93.88 ve CIFAR-10 veri setinde %81.42 ile doğruluk oranlarına ulaşmıştır.
Özet (Çeviri)
In recent years, human-computer interaction has become widespread with the developing technology. In particular, augmented reality applications have become a widespread field of study in the field of human-computer interaction. In the field of image processing, there have been significant developments in recent years with the use of deep learning methods. Object recognition, object classification, face recognition, gesture recognition and hand gesture recognition applications developed with deep learning methods are now effectively used in devices used in daily life. In this study, augmented reality technologies that play an important role in human-computer interaction were investigated. A hand gesture recognition model has been developed with deep learning and an augmented reality application that can be controlled by hand gestures has been designed. A hybrid model was created for hand gesture recognition and classification by using convolutional neural network and capsule network algorithm. A dataset called HandGesture14 (HG14) was created, consisting of a total of 14000 images containing 14 different hand gestures. In order to measure the success of the proposed model in object recognition, trainings were carried out on the HG14, Fashion-MNIST and CIFAR-10 datasets using the hybrid model proposed for deep learning and VGG16, ResNet50, DenseNet121, MobileNet, InceptionV3 and CapsNet models. The results of the trainings were compared and the accuracy rates were evaluated. The proposed hybrid model achieved accuracy rates of %90 in the HG14 dataset, %93.88 in the Fashion-MNIST dataset and %81.42 in the CIFAR-10 dataset.
Benzer Tezler
- Gesture recognition and customization on textile-based pressure sensor array
Tekstil tabanlı basınç sensörü dizisinde hareket algılama ve kişiselleştirme
İLKNUR ÇELİK
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKHAN İNCE
- El hareketlerinin elektromyogram sinyalleri ve yardımcı sensör verileri ile sınıflandırılması
Classification of hand movements via electromyogram and auxiliary sensor data
SİNAN YAĞCIOĞLU
Yüksek Lisans
Türkçe
2016
Biyomühendislikİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. İLKER BAYRAM
- Derin öğrenme ile insan edimlerinin tanınması
Human action recognition using deep learning
TAYYİP ÖZCAN
Doktora
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolErciyes ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALPER BAŞTÜRK
- Continuous vs fixed-window temporal data processing for hand movement analysis
Başlık çevirisi yok
BEYZA TÜRKMEN
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YAKUP GENÇ
- Emotion recognition using deep learning focusing on the hand and facial expressions
El ve yüz ifadelerine odaklanan derin oğrenmeyi kullanarak duygu tanıma
HASANAIN JAWAD RADEEF
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. YILMAZ AR