Geri Dön

Machine learning techniques for surface electromyography based hand gesture recognition

Yüzey elektromiyografi temelli el jesti tanıma için makine öğrenmesi teknikleri

PDF İndir

  1. Tez No: 507876
  2. Yazar: ENGİN KAYA
  3. Danışmanlar: DOÇ. DR. TUFAN KUMBASAR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2018
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 89

Özet

İnsanlar günlük hayatta ellerini farkında olmadan pek çok ihtiyaç için kullanmaktadır. Tutma, kavrama, dokunma, çekme ve itme şeklinde nesnelerle etkileşime geçmenin yanında, eller iletişim için de sıkça kullanılmaktadır. Örneğin, uçaklarda hostlar ve hostesler emniyet ve acil durum bildirimlerini yaparken sesli olarak anlatılan bilgileri ellerini kullanarak da göstermektedirler. Bu durum işitme engelliler ve anlatımın yapıldığı dili bilmeyen kişiler için anlatılanları anlamak için zorunlu olmakla birlikte dili anlayan ve işitme engeli olmayan kişiler için de anlatımın pekişmesini sağlamaktadır. El jestlerinin kullanımı arttıkça sözlü iletişimde taşınan bilgi miktarının azaldığını gösteren çalışmalar bulunmaktadır. Ayrıca, artık yazılı iletişimde bile emojiler sayesinde basit mesajları iletmek için el işaretlerine başvurmaktayız. Bunların yanında, işitme engelli kişiler de işaret diliyle iletişim kurmak için el jestlerine ihtiyaç duymaktadır. Yani el jestleri, bir dilin aracı olarak da kullanılabilmektedir. Tüm bunlar, iletişim için ellerin kullanımının önemini göstermektedir. İletişim artık sadece insanlar arasında olan bir ihtiyaç değil, insanlar ile makineler arasında olan bir forma da sahiptir. Makinelerin ve bilgisayarların kullanımı çoğunlukla klavye, fare, kumanda ve dokunmatik ekran gibi araçlarla sınırlıdır. Fakat bu araçlar insanlara rahat kullanım sunamamaktadır. İnsan makine etkileşimi çalışmalarının odak noktalarından biri, insanların cihazları daha doğal bir şekilde kullanacakları yöntemler geliştirmektir. Örneğin, ses ile kontrol edilen cihazlar, kumanda ile kontrol edilenlere göre daha basit ve doğal kullanıma sahiptir. Bu noktada, insanların kendi arasındaki iletişimde kullandıkları el jestlerinin cihazlar ile etkileşimde kullanımı da mevcut yöntemlere alternatif olarak ortaya çıkmaktadır. El jestlerinin makineler tarafından kullanılabilmesi için algılayıcılara ihtiyaç duyulmaktadır. Literatürde el jestlerini tanımlamak için kullanılabilecek kamera, derinlik algılayabilen kamera, eldiven ve elektrotlar gibi farklı yöntemler bulunmaktadır. Görsel tabanlı sensörler ile tanımlama yapan sistemlerle yüksek başarıma sahip sonuçlara ulaşılsa da uygulamada pek çok zorluk yaşanmaktadır. Örneğin ortamın ışığı, görüntü arka planının deseni, el ve parmakların açısı, boyutları ve rengi gibi problemler jest tanıma başarısını düşürmektedir. Ayrıca, görüntünün alınabildiği alanın sınırlı olması da bir kullanım kısıtı yaratmaktadır. Öte yandan, her bir parmağında esneklik algılayan sensörler bulunan bir eldiven tasarımıyla gerçekleştirilen çözümler ile de el jestlerinin tanımlanması mümkündür. Fakat bu eldivenin giyilmesi ellerin rahat şekilde kullanımını engellediği ve hissiyat kaybı yaşattığı için gündelik hayatta tercih edilmemektedir. Elektrotlar yardımıyla alınan ön kol kas sinyallerinin kullanımı el jestlerinin tespiti için alternatif olarak geliştirilen bir yöntemdir. El hareketlerini yapabilmemiz, sinir sisteminden kas hücrelerine gelen komutlar sayesinde olmaktadır. Hücreler kasılma işlemini gerçekleştirebilmek için enerjiye ihtiyaç duymaktadır ve bunu da ortamdaki maddeleri kullanarak üretirler. Kasılma sırasında meydana gelen bu kimyasal tepkime aynı zamanda elektriksel bir değişime de sebep olmaktadır. Ortaya çıkan bu elektriksel sinyallerin algılanması elektrotlar ile sağlanabilir. Bu elektrotlar bir iğne şeklinde olup doğrudan belirli bir kas grubunun içerisine saplanabildiği gibi, cilt yüzeyine de yerleştirilebilmektedir. Yüzey elektrotları ile sadece yüzeye ulaşabilen sinyalleri toplamak mümkündür, ve bu sinyaller pek çok kas hücresinden gelen sinyallerin birleşimi olarak yüzeye ulaşmaktadır. Medikal bir işlem gerektirmediği için yüzey elektrotları araştırmalarda ve uygulamalarda kolaylıkla kullanılabilmektedir. Giyilebilir cihaz teknolojilerinin gelişmesi sayesinde bu elektrotlara sahip cihazlar daha ulaşılabilir ve daha farklı alanlarda kullanılabilir olmuştur. Bu çalışmada, Myo Armband cihazı ön kol kas sinyallerini toplamak için kullanılmıştır. Thalmic Labs tarafında geliştirilen, giyilebilir ve kablosuz bir cihaz olan Myo Armband'ın üzerinde bir işlemci ve sekiz adet yüzey elektrodu vardır. Kullanıcılar bileklik şeklindeki bu cihazı koluna giydiği zaman, cihaz kolun etrafına dairesel olarak yerleşmiş sekiz farklı noktadan ölçtüğü sinyalleri Bluetooth ile doğrudan diğer cihazlara aktarabilmektedir. Yazılım geliştirme kitinin sağladığı kolaylık sayesinde Myo Armband mobil robot kontrolü, protez el kontrolü, sanal gerçeklik uygulamaları, sanat projeleri gibi el jestlerinin kullanılabildiği farklı uygulama alanlarına sahiptir. Bu çalışmada geliştirilen el jestlerini tanıma sistemi için Türk İşaret Dili'ndeki rakamların jestleri veri seti olarak kullanılmıştır. Kullanıcının sağ ön koluna giydiği Myo Armband ile 10 adet rakamları gösterirken ve bir adet dinlenme durumunda olmak üzere toplamda 11 farklı el jesti için kas sinyalleri toplanmıştır. Toplanan sinyaller içerisinden sadece kasılı haldeki kısımlar dikkate alınmış yani geçiş sinyalleri incelemeye katılmamıştır. Bu yüzden geliştirilen sistem statik el hareketleri için uygulanmıştır. Sekiz farklı kanaldan aynı anda sinyaller toplandığı ve toplanan sinyallerin basit eşikleme yöntemiyle sınıflandırılması mümkün olmadığı için el jestlerinin tanımlanmasında makine öğrenmesi tekniklerine başvurulmuştur. Tez kapsamında önerilen sistem makine öğrenmesi yönteminin aşamalarını takip etmektedir. Buna göre, toplanan sinyallerden ilk olarak anlamlı ve ayırt edici öznitelikler çıkartmak gerekmektedir. Doğrudan ham veri ile çalışmak uygulamanın karmaşıklığını ve hesaplama işlemlerini arttırmaktadır. Ayrıca, ham veride görülemeyen bazı paternler öznitelikler ile ortaya çıkmaktadır. Kas sinyallerinin karmaşık ve gürültülü karakteristiği nedeniyle uygun özniteliklerin çıkartılması önem taşımaktadır. Literatürde bulunan özniteliklerden yedi tanesi baskın ve bu çalışma için uygun bulunmuştur. Bunlar ortalama mutlak değer, varyans, dalga formu uzunluğu, ortalama karekök, Willison genliği, sıfır kesme sayısı ve eğim yönü değiştirme sayısıdır. Toplanan sinyal ilk olarak kayan pencereler yöntemi ile pencerelere bölünüp her bir pencereden bu yedi öznitelik çıkarılmıştır. Bu işlem sekiz elektrodun hepsinde yapıldığı için sonuçta 56 boyutlu bir öznitelik matrisi elde edilmiştir. Bu öznitelik matrisinin boyut sayısı sınıflandırmanın daha rahat yapılabilmesi için azaltılmıştır. Azaltma işlemi için literatürde sıkça kullanılan Temel Bileşenler Analizi yöntemi uygulanmıştır. Bu algoritma ile boyut sayısı 56'dan 15'e düşürülüp elde edilen öznitelik matrisi sınıflandırma algoritmalarını beslemek için kullanılmıştır. Bu çalışma kapsamında dört adet sınıflandırma algoritması ugulanmış ve el jesti tanımlama performansları karışlaştırılmıştır. Bu algoritmalar k-En Yakın Komşu, Karar Ağacı, Destek Vektör Makinesi ve Yapay Sinir Ağları sınıflandırma algoritmalarıdır. Her bir sınıflandırma algoritması ilk olarak en uygun parametrelerini belirlemek için çalışılmıştır. Sonrasında hepsinin en uygun değerine göre elde edilen sonuçlar birbirleriyle kıyaslanmıştır. Uygulanan ilk algoritma olan k-En Yakın Komşu algoritması, örnek olarak alınan veriye en yakın olan k adet verinin hangi sınıfa ait olduğuna bakarak sınıflandırma yapmaktadır. Burada k ve uzaklık hesaplama yöntemleri değişken olabileceği için, bu çalışmada farklı k değerleri ve farklı uzaklık fonksiyonları için başarımlar araştırılmıştır. Karar ağacı algoritması, eldeki veri setini sürekli olarak iki veya daha fazla dala bölerek sınıflandırmaktadır. Daha sonra yeni gelen örneği, bölme işlemlerindeki kararlara uygun dallardan geçirip sınıfını belirlemektedir. Bu bölme işleminide kullanılan kriterler sınıflandırma performansını etkilediği için farklı kriterler bu çalışma kapsamında test edilmiştir. Destek Vektör Makinesi algoritması ikili sınıflandırıcılardan biridir ve eldeki veriyi optimal bir hiperdüzlem ile en iyi şekilde ikiye ayırmaya çalışır. Bu algoritma farklı kernel metotları için denenmiştir. Ayrıca, bu çalışmadaki problem çok sınıflı sınıflandırma problem olduğu için ikili sınıflandırıcılar ile çoklu sınıflandırma yapılmasını sağlayan yöntemler de burada denenmiştir. Son olarak, Yapay Sinir Ağları algoritması el jestlerini sınıflandırmak için uygulanmıştır. Çok katmalı olarak oluşturulan ağ, gizli katmana farklı nöron sayıları koyularak incelenmiştir. Bununla birlikte, farklı hata hesaplama fonksiyonları ve farklı eğitim fonksiyonları için de algoritmanın başarım sonuçları karşılaştırılmıştır. Önerilen algoritmaların parametreleri yapılan tüm bu denemelerin sonucunda elde edilen en uygun değerlere sabitlenmiş ve sonrasında algoritmaların başarımları birbiri ile kıyaslanmıştır. Tüm algoritmaları birbiriyle karşılaştırırken yapılan deneyler, geçerliliği arttırmak için 10 kez tekrarlanmış ve ortalaması hesaplanmıştır. Ayrıca, her bir deneyde k katlamalı çapraz doğrulama yöntemi de uygulanmıştır. Bu yöntem veriyi rastgele olarak k adet alt veriye bölüp, her seferinde bunlardan birini test için kalanını algoritmanın eğitimi için kullanılmasına dayanan bir doğrulama yöntemidir. Bu sayede her seferinde algoritma eğitildiği veri setinden farklı bir veri seti ile test edilmiş olur. Elde edilen sonuçlara göre, Karar Ağacı algoritması 0.76 Fskor başarım oranı ile en düşük değere sahip olarak bulunmuştur. k-En Yakın Komşu ve Yapay Sinir Ağları algoritmaları başarımı sırasıyla 0.82 ve 0.85 seviyesine çıkartmıştır. Son olarak, en yüksek başarımlı sınıflandırma oranı olan 0.87'ye Destek Vektör Makinesi algoritması ile ulaşılmıştır. Algoritmalar ayrıca her bir jestin tanımlanması için ayrı olarak da analiz edilmiştir. Buna göre en yüksek başarıya sahip yani daha kolay sınıflandırılabilen jestler '6', '7', '8' ve '9' iken, en düşük oran '2' jesti olarak bulunmuştur. Ayrıca her bir jestin ayrı ayrı tanımlanması bakımından kıyaslandığında da Destek Vektör Makinesi algoritması en iyi sonuçları vermektedir. Ulaşılan sonuçlar, el jestlerini tanımlamak için ön kol kas sinyallerinin kullanılabileceğini ve önerilen sistemin makineler ile etkileşimde kullanılabileceğini göstermektedir.

Özet (Çeviri)

People use their hand unconsciously to perform many task in daily life. The goal of these tasks can be a physical interaction such as holding, grasping and pushing as well as communication. Hand gestures constitute one of the most popular types of non-verbal communication. People use their hands to give basic messages such as 'stop', 'come', 'like', 'dislike' and 'okay'. Even when texting, we now use hand gesture emojis. Moreover, hearing impaired people use hand gestures as sign language, which means hand gestures can be considered a language on their own. On the other hand, the communication does not take place only between humans, but also between humans and technological devices. Input method of these devices is generally limited with mouse, keyboard, joyistick or touchpad. The human machine interaction studies focus on developing new interfaces to overcome this restriction by simulating a natural ways of communication for humans. Here, the hand gestures arise as an interface for devices. There are various methods for hand gesture detection such as cameras, gloves and electrodes. Visual based solutions provide high recognition rate; however, they face with difficulties like light conditions, skin and background color, spatial position and orientation of the hand and fingers. Also, this kind of systems suffer from range limitations of sight view. Next, glove based systems hold people back from using their hands comfortably and may also cause loss of sensation. Hence, an alternative solution has been by generated electrode based systems. When contracted to perform an action, muscle cells generate an electrical signal. The combination of all innervated muscle cells produces superposed electrical signals called Motor Unit Action Potentials. A technique of recording and studying the myoelectric signal is defined as electromyography (EMG). This thesis mainly proposes a hand gesture recognition system using the electromyography signals of the forearm. The muscle signals can be recorded via needle electrodes or surface electrodes. While needle electrodes are providing signals from a specific muscle group, surface electrodes sense signals that reach the surface of skin. The use of non-invasive electrodes is painless and easy; therefore, they are known as convenient for daily usages and applications. In this work, a commercial product, the Myo Armband has been used as a signal source. The Myo Armband is a wearable and wireless device, which has eight electrodes located circularly around the arm. When a user wears the Myo Armband, the device transmits the measured EMG signal via Bluetooth and the signals can be easily obtained with help of software development kit of device. Hence, it is widely used in researches and applications like prosthetic control, mobile robot navigation, virtual reality projects, game control, sign to speech translation and art works. In this study, the hand gestures of numbers between 0 and 9 in Turkish Sign Language was recorded as a dataset using the Myo Armband. To make a better gesture recognition, the proposed system includes the comparison of four different machine learning algorithms which consist of k-Nearest Neighbor, Decision Tree, Support Vector Machines and Artificial Neural Network. In machine learning, working with directly raw data increases the complexity of implementation and processing cost. Thus, first, seven time domain features were extracted from each channel of the recorded data. To make the feature matrix simple, Principal Component Analysis was employed, and then the algorithms was fed by resultant feature vector. Before the comparison of algorithms, each algorithm was investigated to find the optimal parameters by changing the values. Firstly, k-Nearest Neighbor algorithm was examined with various number of neighbors and distance metrics. The Decision Tree algorithm was tested for two splitting criteria which are gini diversity index and entropy. The Support Vector Machine algorithm was analyzed with different kernels and binary discrimination methods. Lastly, Artificial Neural Network was investigated by changing the number of neurons in hidden layer, training function and error functions. Then the outcome of this study has obtained with setting the parameters of each classifiers to optimal. According that, Decision Tree algorithim has lowest fscore ratio which was about 0.76. k-Nearest Neighbor and Artificial Neural Network algorithms increased the result to 0.82 and 0.85, respectively. The highest fscore ratio was achieved as 0.87 using the Support Vector Machine algorithm. In addition, the performance of each class has also evaluated, and it was found that the Support Vector Machine algorithm gives the highest ratio for all gestures. Also, gestures of '6', '7', '8' and '9' have higher recognition ratio; whereas, lowest ratio was obtained for class '2'. The achieved results are quite promising that, the usage of muscle signals could employ as hand gesture recognition and the proposed system can be used to interact with machines.

Benzer Tezler

  1. Tez No

    664620

    Hand gesture recognition for Turkish sign language using electromyography for human-robot interaction

    İnsan-robot etkileşimi için elektromyografi kullanarak Türk işaret dili için el hareketi tanıma

    MUSTAFA SEDDIQI

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HATİCE KÖSE

  2. Tez No

    813170

    Classification of hand gestures using time-frequency analysis and different artificial intelligence methods

    Zaman-frekans analizi ve farklı yapay zeka yöntemleri kullanılarak el hareketlerinin sınıflandırılması

    DENİZ HANDE KISA

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilim ve Teknolojiİzmir Katip Çelebi Üniversitesi

    Biyomedikal Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ONAN GÜREN

    PROF. DR. AYDIN AKAN

  3. Tez No

    882183

    sEMG ve kamera görüntü verileri kullanarak makine öğrenme temelli robotik el kontrolü

    Robotic hand control based on machine learning using sEMG and camera image data

    İSMAİL MERSİNKAYA

    Doktora

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük Üniversitesi

    Biyomedikal Mühendisliği Ana Bilim Dalı

    DOÇ. DR. AHMET REŞİT KAVSAOĞLU

  4. Tez No

    748884

    Development of powered ankle prosthesisclassification algorithms for step-up vs.step-down movements using machinelearning fed exclusively by surfaceelectromyography

    Yüzey elektromiyografisi ile özel olarakbeslenerek ve yapay öğrenme yöntemlerikullanarak yukarı-adım ve aşağı-adımhareketleri için aktif bilek protezisınıflandırma algoritmalarınıngeliştirilmesi

    ONUR SÜRHAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Biyomedikal Mühendisliği Ana Bilim Dalı

    PROF. DR. CAN ALİ YÜCESOY

  5. Tez No

    633246

    Elektromiyografi sinyallerinden altı farklı el hareketinin yapay zeka teknikleri kullanılarak sınıflandırılması

    Classification of six different hand movements from electromyography signals using artifical intelligence techniques

    GİZEM KÜBRA YAMAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Elektrik ve Elektronik MühendisliğiZonguldak Bülent Ecevit Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ RUKİYE UZUN ARSLAN

    DOÇ. DR. YALÇIN İŞLER

Geri Dön