Touch gestures classification by deep learning methods
Dokunma hareketlerinin derin öğrenme yöntemleri ile sınıflandırılması
- Tez No: 747198
- Danışmanlar: DR. ÖĞR. ÜYESİ KEREM ALTUN
- Tez Türü: Yüksek Lisans
- Konular: Makine Mühendisliği, Mechanical Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İzmir Yüksek Teknoloji Enstitüsü
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Makine Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Mekatronik Bilim Dalı
- Sayfa Sayısı: 76
Özet
Bu çalışmada, açık erişime sahip iki veri seti, Corpus of Social Touch (CoST) ve Human-Animal Affective Robot Touch (HAART) ve oluşturduğumuz veri seti üzerinde sosyal dokunma hareketi sınıflandırması gerçekleştirdik. Dokunma hareketi veri setlerini sınıflandırmak için dört farklı model önerilmiştir: 3 boyutlu evrişimli sinir ağı (3D-CNN), 3 boyutlu evrişimli uzun süreli kısa süreli bellek sinir ağı (3D-CNN-LSTM), 3 boyutlu evrişimli çift yönlü uzun süreli kısa süreli bellek sinir ağı (3D-CNN-BiLSTM) ve 3 boyutlu evrişimli dönüştürücü ağı (3D-CNN-Transformer). Önerilen derin sinir ağı mimarilerinin temel katmanı, dokunma hareketlerinin uzamsal-zamansal özniteliklerini çıkarmayı sağlayan 3 boyutlu evrişim katmanıdır. Bu bağlamda, dokunma hareketlerinin uzamsal-zamansal özelliklerinin kullanılmasıyla, önerilen dört modelin genelleme performansı, rassal olarak uygulanan dönme ve öteleme gibi veri artırma teknikleri ve toplu öğrenme kullanılarak geliştirilmiştir. Ek olarak, Stokastik Gradyan İniş (SGD) optimizasyon algoritmasının, derin öğrenmede daha sık kullanılan Uyarlamalı Moment Tahmini (ADAM) algoritmasından daha iyi genelleme performansına sahip olduğu sonucuna ulaştık. Üç veri kümesinin sınıflandırma sonuçlarının doğruluğu önerilen modeller ışığında araştırılmıştır. Sonuçlar, önerilen metodların, özellikle toplu sınıflandırıcı ve veri büyütmeli topluluk sınıflandırıcı algoritmalarının, daha genelleştirilebilir öğrenme algoritmaları elde etmek için faydalı olduğunu göstermiştir. Derin öğrenme mimarilerinin kod betik dosyası istek üzerine temin edilebilir.
Özet (Çeviri)
In this study, we carried out social touch gesture classification on two publicly available datasets, Corpus of Social Touch (CoST) and Human-Animal Affective Robot Touch (HAART), and our demo dataset. In order to classify touch gesture datasets, four different models are proposed: 3-dimensional convolutional neural network (3D-CNN), 3-dimensional convolutional-long term short term memory neural network (3D-CNN-LSTM), 3-dimensional convolutional-bidirectional long term short term memory neural network (3D-CNN-BiLSTM) + and 3-dimensional convolutional transformers network (3D-CNN-Transformer). The fundamental layer of the proposed deep neural network architectures is 3-dimensional convolution layer that enables to extract spatio-temporal features of touch gestures. In this regard, with the use of spatio-temporal features of touch gestures, generalization performance of proposed four models have been improved using data augmentation techniques by applying randomly shift and rotation, and ensemble learning. Additionally, We also found out that Stochastic Gradient Descent (SGD) optimization algorithm has better generalization performance than Adaptive Moment Estimation (ADAM), which is used more frequently in deep learning. The accuracy of classification results of three dataset is investigated in terms of proposed model. The results showed that the proposed methods, especially ensemble classifier and the ensemble classifier with data augmentation, are beneficial for obtaining more generalizable learning algorithms. The scripts of deep neural network architecture are available upon request.
Benzer Tezler
- Accelerometer based calculator for visually-impaired people using mobile devices
Görme engeliler için mobil cihazlarda ivmeölçer temelli hesap makinası
DOĞUKAN ERENEL
Yüksek Lisans
İngilizce
2011
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HALUK BİNGÖL
- Object manipulation through intuitive hand gestures in virtual reality: The relation between objects' spatial properties and gestures
Sanal gerçeklikte sezgisel el jestleriyle nesne manipülasyonu: Nesnelerin uzamsal özellikleriyle jestlerin ilişkisi
ERKUT SIRDAŞ
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiOyun ve Etkileşim Teknolojileri Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
DOÇ. DR. SEMA ALAÇAM
- İnsan-robot etkileşimini kullanarak yapay zekâ temelli kendini programlayabilir endüstri 4.0'a uyumlu robot yazılımlarının geliştirilmesi
Development of artificial intelligence-based self-programmable robot software compatible with industry 4.0 using human-robot interaction
MUSTAFA CAN BİNGÖL
Doktora
Türkçe
2021
Mekatronik MühendisliğiFırat ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. ÖMÜR AYDOĞMUŞ
- ARM tabanlı gömülü sistemlerde kulak tanıma sisteminin gerçeklenmesi
Realizing of ear recognition system with arm based on embedded system
ÜMİT KAÇAR
Yüksek Lisans
Türkçe
2013
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. MÜRVET KIRCI
- Dokunmatik ekranlarda kaydırma biyometrisine dayalı kimlik doğrulama çalışmaları
Authentication studies based on swipe biometrics ontouchscreens
ORHAN SİVAZ
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKaradeniz Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MURAT AYKUT