Classification of hand gestures using time-frequency analysis and different artificial intelligence methods
Zaman-frekans analizi ve farklı yapay zeka yöntemleri kullanılarak el hareketlerinin sınıflandırılması
- Tez No: 813170
- Danışmanlar: DR. ÖĞR. ÜYESİ ONAN GÜREN, PROF. DR. AYDIN AKAN
- Tez Türü: Yüksek Lisans
- Konular: Bilim ve Teknoloji, Mühendislik Bilimleri, Science and Technology, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: İzmir Katip Çelebi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Biyomedikal Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 138
Özet
El hareketi tabanlı sistemler, en etkili teknolojik gelişmelerden biridir. Yüzey elektromiyografisi (sEMG), yüksek doğruluk ve kontrol yeteneği ile hareket sınıflandırması için popüler bir veri olarak kullanılır. Hareketlerin sEMG'sinin Hilbert-Huang Dönüşümü'nden (HHT) elde edilen Hilbert-Huang spektrumu (HHS) görüntülerinin sınıflandırma performansına dayanan bu tezde, yapay zeka (AI) yöntemlerinin HHS görüntüsü kullanarak el hareketi sınıflandırmasına ilişkin sonuçların değerlendirilmesi sunulmaktadır. Yedi el hareketine ait 4 kanallı sEMG veri seti kullanıldı. sEMG sinyallerine HHT uygulanıp HHS imgeleri elde edildi. El hareketi sınıflandırmada HHS görüntülerinin gri düzey eş oluşum matrisinden (GLCM) elde edilen altı imge özniteliği makine öğrenmesi (ML) ve bulanık mantık (FL) modellerinde sınıflandırılmıştır. ML'de kendi içinde karşılaştırma yapmak için GLCM öznitelikleri, EMG ve içsel mod fonksiyonu (IMF) ekran görüntülerinden çıkarılıp sınıflandırılmıştır. FL'de ise GLCM öznitelikleri azaltımlı ve bulanık c-ortalama kümeleme teknikleri kullanılarak ayrı ayrı sınıflandırılmıştır. Bunlarla birlikte, derin öğrenme (DL) modellerinde HHS imgeleri doğrudan kullanılarak transfer öğrenimi yöntemine dayalı yedi farklı DL mimarisinde sınıflandırılmıştır. Burada ayrıca, HHS imgeleri oluşturulurken farklı IMF kombinasyonlarının ve farklı sinyal uzunluklarının sınıflandırma performansına etkisi değerlendirilmiştir. Üç farklı AI yönteminin kendi içinde değerlendirilmesi yapılmıştır. Çalışma kapsamında elde edilen üç AI yönteminin sonuçlara göre, zaman-frekans analizine dayalı HHS imge ve özniteliklerinin el hareketi sınıflandırmada başarılı olduğu ve her bir yaklaşımın alternatif bir yöntem olarak kullanılabileceği belirlenmiştir.
Özet (Çeviri)
Hand gesture-based systems are one of the most effective technological advances. Surface electromyography (sEMG) is utilized as a popular input data for gesture classification with elevated accuracy and advanced control capability. In this thesis, which is based on the classification performance of Hilbert-Huang spectrum (HHS) images obtained from Hilbert Huang Transform (HHT) of the sEMG of the gestures, an evaluation of the results of artificial intelligence (AI) methods on hand gesture classification using HHS image is presented. A dataset of 4-channel sEMG of seven hand movements was used. HHS images were obtained by applying HHT to sEMG signals. In hand gesture classification, six image features obtained from the gray-level co-occurrence matrix (GLCM) of HHS images were classified in machine learning (ML) and fuzzy logic (FL) models. The GLCM features were also extracted from the EMG and intrinsic mode functions (IMF) snapshots and classified in order to make comparisons within ML. In FL, the GLCM features were classified using two different clustering techniques, subtractive clustering (SC) and fuzzy c-mean (FCM) clustering. In addition, HHS images are used directly in deep learning (DL) models and classified into seven different convolutional neural networks (CNN) architectures based on the transfer learning method. Also, the effects of different IMF combinations and different signal lengths on classification performance were evaluated while generating HHS images. Three different AI methods were evaluated within themselves. According to the results obtained within the scope of the study, it was determined that in all three AI methods, HHS images and features based on time-frequency analysis were successful in hand gesture classification and each of them could be used as an alternative method.
Benzer Tezler
- Hand gesture classification using features of multivariate synchrosqueezing transform based time-frequency matrix
Çok değişkenli senkron sıkıştırma dönüşümüne dayalı zaman-frekans matrisinin özelliklerini kullanarak el hareketi sınıflandırılması
LÜTFİYE SARIPINAR
Yüksek Lisans
İngilizce
2023
Bilim ve Teknolojiİzmir Katip Çelebi ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ONAN GÜREN
- Elektromiyogram sinyallerinin sınıflandırılması ve bağımsız bileşen analizi ile işlenmesi
Classification of electromyogram signals and processing with independent component analysis
ULVİ BAŞPINAR
Doktora
Türkçe
2014
BiyomühendislikMarmara ÜniversitesiElektronik-Bilgisayar Eğitimi Ana Bilim Dalı
PROF. DR. HÜSEYİN SELÇUK VAROL
- Emotion recognition using deep learning focusing on the hand and facial expressions
El ve yüz ifadelerine odaklanan derin oğrenmeyi kullanarak duygu tanıma
HASANAIN JAWAD RADEEF
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. YILMAZ AR
- Object manipulation through intuitive hand gestures in virtual reality: The relation between objects' spatial properties and gestures
Sanal gerçeklikte sezgisel el jestleriyle nesne manipülasyonu: Nesnelerin uzamsal özellikleriyle jestlerin ilişkisi
ERKUT SIRDAŞ
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiOyun ve Etkileşim Teknolojileri Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
DOÇ. DR. SEMA ALAÇAM
- Using deep learning for movement classification eeg/emg type time series
Eeg/emg türü zaman serileri kullanılarak hareket sınıflandırma için derin öğrenme kullanımı
HARUN GÜNEŞ
Yüksek Lisans
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AHMET ÇINAR