Geri Dön

Touch gestures classification by deep learning methods

Dokunma hareketlerinin derin öğrenme yöntemleri ile sınıflandırılması

  1. Tez No: 747198
  2. Yazar: IRMAK EGE
  3. Danışmanlar: DR. ÖĞR. ÜYESİ KEREM ALTUN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Makine Mühendisliği, Mechanical Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: İzmir Yüksek Teknoloji Enstitüsü
  10. Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Makine Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Mekatronik Bilim Dalı
  13. Sayfa Sayısı: 76

Özet

Bu çalışmada, açık erişime sahip iki veri seti, Corpus of Social Touch (CoST) ve Human-Animal Affective Robot Touch (HAART) ve oluşturduğumuz veri seti üzerinde sosyal dokunma hareketi sınıflandırması gerçekleştirdik. Dokunma hareketi veri setlerini sınıflandırmak için dört farklı model önerilmiştir: 3 boyutlu evrişimli sinir ağı (3D-CNN), 3 boyutlu evrişimli uzun süreli kısa süreli bellek sinir ağı (3D-CNN-LSTM), 3 boyutlu evrişimli çift yönlü uzun süreli kısa süreli bellek sinir ağı (3D-CNN-BiLSTM) ve 3 boyutlu evrişimli dönüştürücü ağı (3D-CNN-Transformer). Önerilen derin sinir ağı mimarilerinin temel katmanı, dokunma hareketlerinin uzamsal-zamansal özniteliklerini çıkarmayı sağlayan 3 boyutlu evrişim katmanıdır. Bu bağlamda, dokunma hareketlerinin uzamsal-zamansal özelliklerinin kullanılmasıyla, önerilen dört modelin genelleme performansı, rassal olarak uygulanan dönme ve öteleme gibi veri artırma teknikleri ve toplu öğrenme kullanılarak geliştirilmiştir. Ek olarak, Stokastik Gradyan İniş (SGD) optimizasyon algoritmasının, derin öğrenmede daha sık kullanılan Uyarlamalı Moment Tahmini (ADAM) algoritmasından daha iyi genelleme performansına sahip olduğu sonucuna ulaştık. Üç veri kümesinin sınıflandırma sonuçlarının doğruluğu önerilen modeller ışığında araştırılmıştır. Sonuçlar, önerilen metodların, özellikle toplu sınıflandırıcı ve veri büyütmeli topluluk sınıflandırıcı algoritmalarının, daha genelleştirilebilir öğrenme algoritmaları elde etmek için faydalı olduğunu göstermiştir. Derin öğrenme mimarilerinin kod betik dosyası istek üzerine temin edilebilir.

Özet (Çeviri)

In this study, we carried out social touch gesture classification on two publicly available datasets, Corpus of Social Touch (CoST) and Human-Animal Affective Robot Touch (HAART), and our demo dataset. In order to classify touch gesture datasets, four different models are proposed: 3-dimensional convolutional neural network (3D-CNN), 3-dimensional convolutional-long term short term memory neural network (3D-CNN-LSTM), 3-dimensional convolutional-bidirectional long term short term memory neural network (3D-CNN-BiLSTM) + and 3-dimensional convolutional transformers network (3D-CNN-Transformer). The fundamental layer of the proposed deep neural network architectures is 3-dimensional convolution layer that enables to extract spatio-temporal features of touch gestures. In this regard, with the use of spatio-temporal features of touch gestures, generalization performance of proposed four models have been improved using data augmentation techniques by applying randomly shift and rotation, and ensemble learning. Additionally, We also found out that Stochastic Gradient Descent (SGD) optimization algorithm has better generalization performance than Adaptive Moment Estimation (ADAM), which is used more frequently in deep learning. The accuracy of classification results of three dataset is investigated in terms of proposed model. The results showed that the proposed methods, especially ensemble classifier and the ensemble classifier with data augmentation, are beneficial for obtaining more generalizable learning algorithms. The scripts of deep neural network architecture are available upon request.

Benzer Tezler

  1. Accelerometer based calculator for visually-impaired people using mobile devices

    Görme engeliler için mobil cihazlarda ivmeölçer temelli hesap makinası

    DOĞUKAN ERENEL

    Yüksek Lisans

    İngilizce

    İngilizce

    2011

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HALUK BİNGÖL

  2. Object manipulation through intuitive hand gestures in virtual reality: The relation between objects' spatial properties and gestures

    Sanal gerçeklikte sezgisel el jestleriyle nesne manipülasyonu: Nesnelerin uzamsal özellikleriyle jestlerin ilişkisi

    ERKUT SIRDAŞ

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Oyun ve Etkileşim Teknolojileri Ana Bilim Dalı

    PROF. DR. HATİCE KÖSE

    DOÇ. DR. SEMA ALAÇAM

  3. İnsan-robot etkileşimini kullanarak yapay zekâ temelli kendini programlayabilir endüstri 4.0'a uyumlu robot yazılımlarının geliştirilmesi

    Development of artificial intelligence-based self-programmable robot software compatible with industry 4.0 using human-robot interaction

    MUSTAFA CAN BİNGÖL

    Doktora

    Türkçe

    Türkçe

    2021

    Mekatronik MühendisliğiFırat Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    PROF. DR. ÖMÜR AYDOĞMUŞ

  4. ARM tabanlı gömülü sistemlerde kulak tanıma sisteminin gerçeklenmesi

    Realizing of ear recognition system with arm based on embedded system

    ÜMİT KAÇAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2013

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MÜRVET KIRCI

  5. Dokunmatik ekranlarda kaydırma biyometrisine dayalı kimlik doğrulama çalışmaları

    Authentication studies based on swipe biometrics ontouchscreens

    ORHAN SİVAZ

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKaradeniz Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MURAT AYKUT