Hand gesture recognition via CNN-LSTM neural networks and EMG signals
CNN-LSTM sinir ağları ve EMG sinyalleri ile el hareketi tanıma
- Tez No: 903306
- Danışmanlar: DR. ÖĞR. ÜYESİ BURCU TUNÇ ÇAMLIBEL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 74
Özet
Bu çalışma, insan-bilgisayar etkileşimi sistemlerinin el hareketi tanıma doğruluğunu ve verimliliğini artırmayı amaçlayan elektromiyografi (EMG) sinyallerini kullanarak hibrit bir CNN-LSTM modelinin uygulanmasını incelemektedir. TensorFlow ve Keras kütüphanelerinin kullanıldığı Python programlama diliyle, Google Colaboratory'nin hesaplama altyapısı ile desteklenen araştırma, makine öğrenmesi algoritmaları ile EMG veri işleme arasındaki etkileşimi araştırmaktadır. Bulgular, çeşitli el hareketlerinde %89.3 ile %99.6 arasında değişen sınıflandırma doğrulukları ile önemli iyileşmeler göstermektedir. Hiperparametre optimizasyonu, modelin sağlamlığını ve genelleme yeteneklerini artırmıştır. Karışıklık matrislerinin ve model kayıp dinamiklerinin analizi, modelin performansını ve eğitim süreçlerini daha iyi anlamayı sağlamaktadır. Ancak, çalışma süresi kısıtlamaları ve küçük veri seti boyutları model optimizasyonu ve genelleme için bir zorluk teşkil etmektedir. Gelecekteki araştırma yönleri arasında veri artırma tekniklerini keşfetmek, çalışma süresi performansını optimize etmek ve veri üretimi için üretken çekişmeli ağları (GAN'lar) araştırmak yer almaktadır
Özet (Çeviri)
This study explores the application of a hybrid CNN-LSTM model for hand gesture recognition using electromyography (EMG) signals, aiming to improve the accuracy and efficiency of gesture recognition systems for human-computer interaction. Leveraging Python with TensorFlow and Keras libraries, alongside Google Colaboratory's computational infrastructure, the research investigates the interaction between machine learning algorithms and EMG data processing. The findings demonstrate significant improvements in classification accuracy, achieving accuracies ranging from 89.3% to 99.6% across various hand gestures. Hyperparameter optimization enhances the model's robustness and generalization capabilities. Analysis of confusion matrices and model loss dynamics sheds light on the model's performance and training dynamics. However, runtime constraints and small dataset sizes are a challenge to model optimization and generalization. Future research directions include exploring data augmentation techniques, optimizing runtime performance, and investigating generative adversarial networks for data generation.
Benzer Tezler
- Deep learning based dynamic turkish sign language recognition with leap motion
Derin öğrenme tabanlı leap motıon ile dinamik türk işaret dili tanıma
BURÇAK DEMİRCİOĞLU KAM
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Machine learning techniques for surface electromyography based hand gesture recognition
Yüzey elektromiyografi temelli el jesti tanıma için makine öğrenmesi teknikleri
ENGİN KAYA
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. TUFAN KUMBASAR
- Head gesture recognition for a semi-autonomous powerchair
Yarı-otonom akülü sandalye için kafa hareketleri tanıma
UBEYDE MAVUŞ
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. VOLKAN SEZER
- İnverter klima akıllı etkileşim sistem tasarımı
Inverter air conditioner intelligent system design
MURAT TAŞKIRAN
Yüksek Lisans
Türkçe
2016
Elektrik ve Elektronik MühendisliğiYıldız Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. NİHAN KAHRAMAN
- Virtual sculpting with advanced gestural interface
El hareketlerine dayalı gelişmiş arayüz ile sanal modelleme
NURETTİN ÇAĞRI KILIBOZ
Yüksek Lisans
İngilizce
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Bölümü
DOÇ. DR. UĞUR GÜDÜKBAY