Geri Dön

İnsan eli hareketlerinin derin öğrenme ile sınıflandırılması

Classification of human hand movements with deep learning

PDF İndir

  1. Tez No: 955403
  2. Yazar: MÜSLÜM YILDIZBAKAN
  3. Danışmanlar: DR. ÖĞR. ÜYESİ NURİ BİNGÖL
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Mekatronik Mühendisliği, Computer Engineering and Computer Science and Control, Mechatronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: Türkçe
  9. Üniversite: Üsküdar Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Yapay Zeka Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Yapay Zeka Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 66

Özet

Bu çalışmada, insan el hareketlerinin sınıflandırılması amacıyla yüzeyel elektromiyografi (sEMG) ve eldiven sensör verileri kullanılarak derin öğrenme tabanlı üç farklı model karşılaştırılmıştır: CNN-LSTM, CNN-ResNet ve Transformer. NinaPro DB1 veri kümesinden elde edilen sinyaller segmentasyon, normalizasyon ve filtreleme adımlarından geçirilmiştir. Ardından her model eğitim ve test aşamasında sınıflandırma performansları açısından değerlendirilmiştir. Değerlendirme metrikleri olarak doğruluk, F1 skoru, karışıklık matrisi ve ROC eğrileri kullanılmıştır. ROC eğrileri hem mikro ortalama hem de seçilen sınıflar özelinde incelenmiş, tüm modellerde AUC değerlerinin yüksek olduğu gözlemlenmiştir. Sonuçlar, CNN-ResNet modelinin doğruluk ve F1 skoru açısından en iyi performansı gösterdiğini ortaya koymuştur. CNN-LSTM modeli zamansal bağımlılıkları başarıyla yakalarken Transformer modeli karmaşık yapısıyla dikkat çekmiş, ancak sınırlı veri miktarı nedeniyle görece düşük performans sergilemiştir. Bu bulgular, sEMG ve eldiven verilerinin doğru işlenmesi ve uygun model seçimiyle el hareketlerinin yüksek doğrulukla sınıflandırılabileceğini göstermektedir. Elde edilen sonuçların robotik biyonik protez kontrolü, rehabilitasyon sistemleri ve insan-makine arayüzleri (HMI) gibi alanlarda uygulanabilirliği yüksektir

Özet (Çeviri)

In this study, three deep learning-based models CNN-LSTM, CNN-ResNet, and Transformer were compared for the classification of human hand movements using surface electromyography (sEMG) and glove sensor data. Signals from the NinaPro DB1 dataset were segmented, normalized, and filtered as part of the preprocessing pipeline. Each model was evaluated during training and testing phases in terms of classification performance. Evaluation metrics included accuracy, F1 score, confusion matrix, and ROC curves. ROC curves were analyzed both as micro-averaged and for selected individual classes, and high AUC values were observed across all models. Results revealed that the CNN-ResNet model achieved the highest performance in terms of accuracy and F1 score. While the CNN-LSTM model effectively captured temporal dependencies, the Transformer model demonstrated its complexity and attention mechanism capabilities, though its performance was relatively lower due to the limited dataset size. These findings indicate that, with proper preprocessing and model selection, hand movements can be classified with high accuracy using sEMG and glove data. The results highlight the high applicability of such methods in areas such as robotic bionic prosthesis control, rehabilitation systems, and human-machine interfaces (HMI).

Benzer Tezler

  1. Tez No

    458895

    El hareketlerinin elektromyogram sinyalleri ve yardımcı sensör verileri ile sınıflandırılması

    Classification of hand movements via electromyogram and auxiliary sensor data

    SİNAN YAĞCIOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2016

    Biyomühendislikİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    DOÇ. İLKER BAYRAM

  2. Tez No

    613254

    A comprehensive dataset including force cues for gesture recognition and skills assessment in robotic surgery

    Robotik cerrahiide kuvvet ipuçları içeren kapsamlı bir veri seti hareket tanıma ve beceri değerlendirmesi

    DENİZ EKİN CANBAY

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Mekatronik Mühendisliğiİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ NAZIM KEMAL ÜRE

    DR. ÖĞR. ÜYESİ FANNY FICUCIELLO

  3. Tez No

    335454

    3D hand reconstruction with binocular view

    Binoküler görüş kullanarak bir elin 3B yapılandırılması

    ALİ CAN MOGOL

    Yüksek Lisans

    İngilizce

    İngilizce

    2011

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. REZA HASSANPOUR

  4. Tez No

    232282

    Protez elde kullanılması amacıyla insan eli parmaklarının yazı yazma sırasındaki hareketlerinin sinematografi yöntemi ile analizi ve simülasyonu

    Analyzing and simulating of human hand fingers? movements when hand writing, using cinematography method, for using in prostheisis hand applications

    MEHMET CANBULUT

    Yüksek Lisans

    Türkçe

    Türkçe

    2008

    Makine MühendisliğiErciyes Üniversitesi

    Makine Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. MUSTAFA YILMAZ

  5. Tez No

    697225

    MYO bileklik kullanılarak alınan parmak hareketlerine ait EMG işaretlerinin makine öğrenme yöntemleri ile sınıflandırılması

    Classification using machine learning methods of finger gesture EMG signals acquired with MYO armband

    MUHAMMED ERDİM

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Elektrik ve Elektronik MühendisliğiOndokuz Mayıs Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ CENGİZ TEPE

Geri Dön