Geri Dön

Hand gesture recognition via CNN-LSTM neural networks and EMG signals

CNN-LSTM sinir ağları ve EMG sinyalleri ile el hareketi tanıma

  1. Tez No: 903306
  2. Yazar: ZAHRAA GHALIB HADI SAWAFI
  3. Danışmanlar: DR. ÖĞR. ÜYESİ BURCU TUNÇ ÇAMLIBEL
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: Bahçeşehir Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 74

Özet

Bu çalışma, insan-bilgisayar etkileşimi sistemlerinin el hareketi tanıma doğruluğunu ve verimliliğini artırmayı amaçlayan elektromiyografi (EMG) sinyallerini kullanarak hibrit bir CNN-LSTM modelinin uygulanmasını incelemektedir. TensorFlow ve Keras kütüphanelerinin kullanıldığı Python programlama diliyle, Google Colaboratory'nin hesaplama altyapısı ile desteklenen araştırma, makine öğrenmesi algoritmaları ile EMG veri işleme arasındaki etkileşimi araştırmaktadır. Bulgular, çeşitli el hareketlerinde %89.3 ile %99.6 arasında değişen sınıflandırma doğrulukları ile önemli iyileşmeler göstermektedir. Hiperparametre optimizasyonu, modelin sağlamlığını ve genelleme yeteneklerini artırmıştır. Karışıklık matrislerinin ve model kayıp dinamiklerinin analizi, modelin performansını ve eğitim süreçlerini daha iyi anlamayı sağlamaktadır. Ancak, çalışma süresi kısıtlamaları ve küçük veri seti boyutları model optimizasyonu ve genelleme için bir zorluk teşkil etmektedir. Gelecekteki araştırma yönleri arasında veri artırma tekniklerini keşfetmek, çalışma süresi performansını optimize etmek ve veri üretimi için üretken çekişmeli ağları (GAN'lar) araştırmak yer almaktadır

Özet (Çeviri)

This study explores the application of a hybrid CNN-LSTM model for hand gesture recognition using electromyography (EMG) signals, aiming to improve the accuracy and efficiency of gesture recognition systems for human-computer interaction. Leveraging Python with TensorFlow and Keras libraries, alongside Google Colaboratory's computational infrastructure, the research investigates the interaction between machine learning algorithms and EMG data processing. The findings demonstrate significant improvements in classification accuracy, achieving accuracies ranging from 89.3% to 99.6% across various hand gestures. Hyperparameter optimization enhances the model's robustness and generalization capabilities. Analysis of confusion matrices and model loss dynamics sheds light on the model's performance and training dynamics. However, runtime constraints and small dataset sizes are a challenge to model optimization and generalization. Future research directions include exploring data augmentation techniques, optimizing runtime performance, and investigating generative adversarial networks for data generation.

Benzer Tezler

  1. Deep learning based dynamic turkish sign language recognition with leap motion

    Derin öğrenme tabanlı leap motıon ile dinamik türk işaret dili tanıma

    BURÇAK DEMİRCİOĞLU KAM

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HATİCE KÖSE

  2. Machine learning techniques for surface electromyography based hand gesture recognition

    Yüzey elektromiyografi temelli el jesti tanıma için makine öğrenmesi teknikleri

    ENGİN KAYA

    Yüksek Lisans

    İngilizce

    İngilizce

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TUFAN KUMBASAR

  3. Head gesture recognition for a semi-autonomous powerchair

    Yarı-otonom akülü sandalye için kafa hareketleri tanıma

    UBEYDE MAVUŞ

    Yüksek Lisans

    İngilizce

    İngilizce

    2017

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. VOLKAN SEZER

  4. İnverter klima akıllı etkileşim sistem tasarımı

    Inverter air conditioner intelligent system design

    MURAT TAŞKIRAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2016

    Elektrik ve Elektronik MühendisliğiYıldız Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. NİHAN KAHRAMAN

  5. Virtual sculpting with advanced gestural interface

    El hareketlerine dayalı gelişmiş arayüz ile sanal modelleme

    NURETTİN ÇAĞRI KILIBOZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2013

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Bölümü

    DOÇ. DR. UĞUR GÜDÜKBAY