Creating a generic hand and finger gesture recognizer by using forearm muscle activity signals
Ön kol kas hareketlerinden oluşan sinyalleri kullanarak el ve parmak işaretlerini tanıyan jenerik bir sistem geliştirme
- Tez No: 476040
- Danışmanlar: DOÇ. DR. HÜSEYİN HACIHABİBOĞLU, YRD. DOÇ. DR. ELİF SÜRER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Mühendislik Bilimleri, Computer Engineering and Computer Science and Control, Science and Technology, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2017
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Modelleme ve Simülasyon Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 107
Özet
El ve parmak işaretleri, konuşmadan iletişim kurmanın en doğal yollarından biridir. Bu işaretler farklı kültürlerde günlük yaşamda iletişim kurmak için kullanılmalarının yanısıra, bilişim dünyasında insan-bilgisayar etkileşimi alanında da sıklıkla kullanılmaktadır. El ve parmak işaret verileri; işaret dili tanıma, robot kontrol etme, cep telefonu kontrol etme, medikal araç kontrol etme ve video oyunu kontrol etme gibi alanlarda geliştirilen uygulamalarda girdi olarak kullanılmaktadır. Yakın-alan kablosuz iletişim alanındaki gelişmeler, önceden tanımlanmış el ve parmak işaretlerini tanıyan ucuz maliyetli ve küçük boyutlu kontrol cihazlarını tasarlamayı olanaklı kılmaktadır. Bu tez kapsamında, ön kol kas aktivitelerini ve hareketlerini ölçmek için 8 elektromiyografi (EMG) sensörü ve eylemsizlik ölçüm unitesi (IMU) kullanılarak genel bir işaret tanıma sistemi geliştirilmesi amaçlanmıştır. Bu tezin iki önvarsayımı i) ön kol kas aktiviteleri zaman-uzamsal limitli dairesel sinyallerdir ve bu sinyaller sonlu sayıdaki sensörler ile örneklendirilebilir, ve ii) farklı el ve parmak işaretleri, ayırt edilebilmeyi sağlayan birbirinden farklı ancak tutarlı modellerle temsil edilebilir. Bu tezde kullanılan yaklaşım, ticari olarak erişilebilir düşük maliyetli EMG kol bandı kullanılarak elde edilen sinyallerin işlenmesiyle belirli özelliklerin özütlenmesini ve basit yapay sinirsel ağlar kullanarak el ve parmak işaretlerinin sınıflandırılmasını temel almaktadır. El ve parmak işaretleri kümesi, klasik müzik orkestra şeflerinin dışavurumcu olarak kullandıkları el işaretlerinden oluşturulmuştur. Sistem performansını ölçmek amacıyla iki deney çalışması düzenlenmiştir: i) 13 farklı el ve parmak işareti ve bir dinlenme pozisyonu aynı seans içinde 5er defa 10 test kullanıcısı tarafından gerçekleştirilerek veri toplanmıştır, ve ii) bir klasik müzik konser provasında orkestra şefi gerçek hareketlerini gerçekleştirirken veri toplanmıştır. Kullanılan yapay sinir ağını eğitirken, onaylarken ve test ederken ağın beslenmesi için kullanılan verinin dağılımının seanslara göre yapılması sonucu ortalama %63.14 (en yüksek %79.87) başarı oranı yakaladığı saptanmıştır. Veri dağılımının rastgele yapılması sonucunda ise ortalama %96.09 (en yüksek %98.8) başarı oranı yakalandığı görülmüştür. Son olarak, orkestra şefinden toplanan 5 farklı el ve parmak işareti ve bir dinlenme pozisyonu verilerinin yapay sinir ağlarına rastgele dağılımı sonucunda %96.9 başarı oranı yakalanmıştır. Bütün sonuçlara, kişiye ve seansa bağlı olan deneyler düzenlenerek erişilmiştir.
Özet (Çeviri)
Hand and finger gestures are one of the most natural ways of non-verbal communication. Apart from their daily use in different cultures, they are also widely used in human-computer interaction. There are a variety of applications using gestures as inputs such as sign language recognition, robot control, mobile phone control, medical device control and video game control. Advances in near-field wireless communications made it possible to design and deploy low-cost, inconspicuous control devices which can be used to detect certain predefined hand gestures for use in interaction. This thesis aims to investigate and develop a generic hand and finger gesture recognizer by processing forearm muscle activity signals from such a device which consists of eight electromyography (EMG) and Inertial Measurement Unit (IMU) sensors. Two main presuppositions of this thesis is that i) the muscle activity on the forearm is a spatiotemporally bandlimited circular signal and that can be sampled using a finite number of sensors, and ii) different gestures result in different but consistent patterns which are separable. The approach used in this thesis is based on the extraction of features by joint processing of signals obtained from a commercially available, low-cost EMG armband and classification of the gestures by simple and low-complexity artificial neural networks (ANNs). The dictionary of gestures were chosen from a canonical catalog of expressive gestures of classical orchestra conductors. Two experiments were carried out to assess the system performance: i) thirteen different hand and finger gestures and one rest gesture are performed 5 times in the same session by 10 different subjects, and ii) data was collected in an ecological study from a conductor during a practice session of a symphony orchestra. It was found that the proposed method achieved an average classification accuracy of 63.14% (maximum of 79.87%) when the data distribution for train, test and validate parts of ANN used in classification process is separated by sessions. An average classification accuracy of 96.09% (maximum of 98.8%) was achieved when data distribution is random. Lastly, random data distribution of the five different gestures and one rest gesture data collected in an ecological study from a conductor resulted in 96.9% accuracy. All results were obtained with session and subject dependent experiments.
Benzer Tezler
- Human assisted humanoid robot painter
İnsan destekli insansı robot ressam
CEMAL GÜRPINAR
Yüksek Lisans
İngilizce
2012
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. HATİCE KÖSE
- Elektronik tekstil tabanlı romatoid artrit rehabilitasyon eldiveni geliştirilmesi
Development of a e-textile rheumotoid arthritis glove for rehabilitation
NEŞE TOPCUOĞLU GÜRAY
Yüksek Lisans
Türkçe
2018
Endüstri Ürünleri Tasarımıİstanbul Teknik ÜniversitesiTekstil Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. GÖZDE GÖNCÜ BERK
- Yazılım seçiminde küresel bulanık topsıs yöntemi ile çok kriterli karar verme
Multi-criteria decision making of software packages using spherical fuzzy topsis
MERVE CANPOLAT
Yüksek Lisans
Türkçe
2019
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. CENGİZ KAHRAMAN
- Polynamial guidance laws and dynamic flight simulation studies
Polinomlu güdüm yöntemleri ve dinamik uçuş benzetim çalışmaları
KADRİYE TİRYAKİ
Yüksek Lisans
İngilizce
2002
Havacılık MühendisliğiOrta Doğu Teknik ÜniversitesiHavacılık Mühendisliği Ana Bilim Dalı
PROF. DR. NAFİZ ALEMDAROĞLU
- Türk inşaat sektöründeki ana yüklenici firmalarda kalite yönetimi kavramının incelenmesi
A Study abput the qualtiy management process used by main contractors in Turkish construction industry
MEHMET KAYA