El hareketlerinin kinect ile komut olarak algılanması
Recognition of hand gestures with kinect as commands
- Tez No: 505937
- Danışmanlar: DOÇ. DR. MEHMET SİRAÇ ÖZERDEM
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: Türkçe
- Üniversite: Dicle Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 72
Özet
Bu tez çalışmasında, el hareketlerinin MS Kinect ile komut olarak algılanması amaçlanmıştır. Bu amaç doğrultusunda; işaret dili tanıma, Kinect tabanlı ve Kinect kullanılmadan oluşturulan sistemler ile ilişkili çalışmalar incelenmiştir. Bu süreçte Kinect donanımının avantajları/dezavantajları ve kameralardaki farklılıklar incelenmiştir. Konu ile ilişkili önemli saptamalar ve önerilen yöntem ile elde edilen sonuçlar aşağıda açıklanmıştır. Tez kapsamında toplam 24 el hareketi içeren imge seti kullanılmıştır. Bu el hareketlerinin 18 tanesi Amerikan İşaret Dili kapsamında yer alan el hareketleridir. Her el hareketine ilişkin 100 imge kayda alınmıştır. Sistemin güvenirliliğini artırmak amacıyla her hareket için oluşturulan 100 imge için üç farklı kişi görev almıştır. Böylelikle toplamda 24000 imge değerlendirilmeye alınmıştır. Her imgeden çevrimdışı (offline) RGB ve derinlik bilgileri kayda alınmış ve HOG yöntemi ile imgelerin öznitelikleri çıkarılmıştır. Oluşturulan öznitelikler ile sistemin eğitimi sağlanmıştır. El hareketlerinin komut olarak algılanmasında hareketlerin sınıflandırılması için üç farklı sınıflandırıcı yöntem uygulanmıştır. Bunlar; SVM, Çok katlı YSA mimarisi ve kNN sınıflandırıcılarıdır. Eğitme işleminden sonra, gerçek zamanlı olarak sistemin testi gerçeklenmiştir. Yapılan denemelerde her komut için 10 el hareketi ile test edilmiş ve doğru/yanlış şeklinde kayda alınmıştır. Elde edilen ortalama başarı performansları; kNN için %92.5, SVM için %95.83 ve YSA için %97.50 olarak elde edilmiştir. Bu performansın, diğer çalışmalara kıyasla kabul edilebilir düzeyde olduğu görülmüştür.
Özet (Çeviri)
The aim of this thesis is hand gesture recognition (HGR) with MS Kinect as commands. For his aim, some topics such as sign language, systems with/without Kinect were examined. During the studies, advantage/disadvantage features of Kinect and the differences of different type of cameras were learned. The important clues related with subject and results are given below. For hand gesture recognition, totally 24 hand gestures were used. 18 of them are inclusive of American Sign Language (ASL). For each hand gesture, 100 images were recorded using Kinect. 100 images were taken from three persons for increasing accuracy of the proposed system. So, totally 24000 images were used in this study. The offline images were recorded and then RGB and depth information of each image were extracted. The last feature extraction method of histogram of oriented gradients (HOG) was applied for each image. These features are used for hand gesture recognition. Three classification methods such as support vector machines (SVM), multilayer perceptron artificial neural networks (ANN) and k-nearest neighbors algorithm (kNN) were employed. After the training stage, the proposed system having three different classifiers tested in real time. 10 gestures per character were tested online and the each result such as true/false was recorded. The average of performance of kNN, SVM and ANN are 92.5%, 95.83% and 97.50% respectively. These obtained results are acceptable level, if we compare the results with other related studies.
Benzer Tezler
- Kinect rgb görüntülerinde ve derinlik haritalarında uzam-zamansal özellikleri kullanarak işaret dili tanıma
Sign language recognition using spatio-temporal features on Kinect rgb video sequences and depth maps
ABBAS MEMİŞ
Yüksek Lisans
Türkçe
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. SONGÜL ALBAYRAK
- Gesture imitation learning in human-robot interaction
Taklit yolu ile hareket öğrenme ınsan robot etkileşimi
ITAUMA ISONG ITAUMA
Yüksek Lisans
İngilizce
2012
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. HATİCE KÖSE-BAĞCİ
- İnteraktif sanal giyim simülasyonun geliştirilmesinde yeni bir yaklaşım
A new approach in the development of interactive virtual
HAKAN YÜKSEL
Doktora
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSüleyman Demirel ÜniversitesiTekstil Mühendisliği Ana Bilim Dalı
DOÇ. DR. MELİHA OKTAV BULUT
- İlk okuma yazma öğretim sürecinde serbest el etkileşimli teknolojilerin kullanılabilirliğinin sınıf öğretmeni ve alan uzmanı görüşlerine göre incelenmesi
Investigation of the usability of free hand interactive technologies in the first literacy teaching process according to views of primary school teachers and field experts
HALİME YÜKSEL ÖZKAYA
Yüksek Lisans
Türkçe
2020
Eğitim ve ÖğretimAksaray ÜniversitesiTemel Eğitim Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AHMET ÇAKIROĞLU
- İşaret dili hareketlerinin bir insansı robot tarafından taklit yoluyla gerçeklenmesi ve öğrenilmesi
Learning&implementation of sign language gestures by imitation in a humanoid robot
HASAN KIVRAK
Yüksek Lisans
Türkçe
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. HATİCE KÖSE