Tek adımda öğrenme yaklaşımı ile el hareketlerini sınıflandırma
Hand gesture classification with one-shot learning approach
- Tez No: 571825
- Danışmanlar: DOÇ. DR. OĞUZ FINDIK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Mühendislik Bilimleri, Computer Engineering and Computer Science and Control, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: Türkçe
- Üniversite: Karabük Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 66
Özet
Günümüzde insan bilgisayar etkileşimi kapsamında herhangi bir araç kullanmadan insan hareketlerini tanıma işlemi büyüyen araştırma alanlarından biridir. Bu nedenle birçok araştırmacı insan hareketlerini tanımak için çeşitli yaklaşımlar önermiştir. Bu yaklaşımların bir kısmı önceden hareket hakkında bilgi gerektirmektedir. Diğer kısmı ise büyük veri kümelerine ihtiyaç duymaktadır. Tek adımda öğrenme yaklaşımı önceden hareket hakkında bilgi veya büyük miktarda veri gerektirmez. El hareketleri insanların yaşamlarında önemli bir rol oynamaktadır. Böylece, el hareketi tanıma sistemi, insanların bilgisayarla etkileşime girmesi için yenilikçi ve doğal bir yol sunmaktadır. Bu çalışma tek adımda öğrenme yaklaşımını kullanarak el hareketlerini sınıflandırmayı amaçlamaktadır. Tek adımda öğrenme yaklaşımı bir videoda bulunan hareketi tek bir görüntü ile temsil etmektedir. Çalışmada yaklaşımı uygulamak için standart sapma (SS), hareket geçmiş görüntüsü (HGG) ve 2 boyutlu hızlı Fourier dönüşümü (2B HFD) yöntemleri kullanılmıştır. SS yöntemi ile içinde hareket v bulunduran bir video, yalnızca bir görüntüye dönüştürülmüştür. Ancak bu yöntem hareketin geçmiş bilgisini koruyamamaktadır. Bu nedenle çalışmada SS yöntemi ile birlikte HGG yöntemi de kullanılmıştır. Yöntem hareketin geçmiş bilgisini korumakla birlikte hareketin yön bilgisini de korumaktadır. Ayrıca kamera kaymasından oluşabilecek yanlış sınıflandırmayı engellemek için 2B HFD yöntemi kullanılmıştır. Bütün bu yöntemler iki farklı veri kümesi üzerinde uygulanmıştır. İlk veri kümesi, zengin fakat karmaşık bir yapıya sahip olan ChaLearn veri kümesidir. İkinci veri kümesi ise Kinect v2 kamera kullanarak bizim oluşturduğumuz karışık veri kümesidir. Veri kümeleri içinde eğitim ve test verilerini karşılaştırıp, eşleşen hareketleri sınıflandırmak için mesafe ölçümleri ve çapraz korelasyon kullanılmıştır. Bu mesafe ölçümleri Levenshtein, Frobenius ve Mahalanobis'tir. Çalışma sonuçları incelendiğinde ChaLearn veri kümesine uygulanan yöntemlerin %76.15 başarı ve karışık veri kümesine uygulanan yöntemlerin %84.1 başarı elde ettiği gözlemlenmiştir. Ek olarak Levenshtein mesafe ölçümü ile yapılan sınıflandırma, diğer mesafe ölçümleri ile yapılan sınıflandırmalardan daha doğru bir sonuç vermektedir.
Özet (Çeviri)
Nowadays, the process of recognizing human gestures without using any vehicle of human computer interaction is one of the growing research areas. Therefore, many researchers have suggested various approaches to recognize human gestures. Some of these approaches require prior knowledge about the gesture. The other part needs very large datasets. The one-shot learning approach does not require prior knowledge about the gesture or a large amount of data. Hand gestures play an important role in people's lives. Thus, the hand gesture recognition system provides an innovative and natural way for people to interact with the computer. This study aims to classify hand gestures using one-shot learning approach. The one-shot learning approach represents the gesture in a video with a single frame. In order to apply the approach in the study, standard deviation (STD), motion history image (MHI) and 2 dimensional fast Fourier transform (2D FFT) methods were used. A video containing gesture within the STD method was converted into only one frame. However, this method cannot preserve the history knowledge of the gesture. Therefore, MHI method was used with STD in the study. The method preserves the historical knowledge and the direction of gesture. In addition, 2D FFT method was used to prevent misclassification from camera shift. All these methods were applied to two different datasets. The first dataset is a very rich and complex ChaLearn dataset. The second dataset is mixed dataset that we created using the Kinect v2 camera. Distance measurements and cross-correlation were used to compare training and test data in datasets and to classify matching gestures. These distance measurements are Levenshtein, Frobenius and Mahalanobis. When the results of the study were examined, it was observed that the methods applied to the ChaLearn dataset achieved success of 76.15% and the methods applied to the mixed dataset achieved 84.1% success. In addition, it is observed that Levenshtein distance measurement supplies a more accurate classification compared to other distance measurement.
Benzer Tezler
- Prediction of COVID 19 disease using chest X-ray images based on deep learning
Derin öğrenmeye dayalı göğüs röntgen görüntüleri kullanarak COVID 19 hastalığının tahmini
ISMAEL ABDULLAH MOHAMMED AL-RAWE
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ADEM TEKEREK
- EFL learners' morphological, phonological, orthographic awareness and their success in reading comprehension
EFL öğrencilerinin morfolojik, fonolojik, ortografik farkındalıkları ve okuduğunu anlamadaki başarıları
SELİM YAVUZ
Yüksek Lisans
İngilizce
2023
Eğitim ve Öğretimİstanbul Medeniyet ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ABDULLAH YILDIZ
- A research on intelligent software development for design and analysis of factorial experiments
Başlık çevirisi yok
İNCİ BATMAZ DANACI
Doktora
İngilizce
1993
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AYDIN ÖZTÜRK
- Detection of broken rotor bars in induction motors using motor current signature analysis (MCSA)
Akım spektrumu analizini kullanarak asenkron motor rotor çubuğu hatalarının tespiti
MOHAMED ALI MOHAMED
Yüksek Lisans
İngilizce
2019
Mekatronik MühendisliğiSelçuk ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. HAYRİ ARABACI
- A load balancing method for cellular networks: Mobility-aware reinforcement learning
Hücresel ağlar için yük dengeleme yöntemi: Hareketlilik bilincine sahip takviyeli öğrenme
SERKAN BUHURCU
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. BEHÇET UĞUR TÖREYİN
DR. LEVENT ÇARKACIOĞLU