Continuous vs fixed-window temporal data processing for hand movement analysis
Başlık çevirisi mevcut değil.
- Tez No: 691558
- Danışmanlar: DR. ÖĞR. ÜYESİ YAKUP GENÇ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Gebze Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
El hareketlerinin analizi, el hareketi analizi ve insan-makine etkileşimi gibi çeşitli uygulamalarda ortaya çıkan yaygın bir bilgisayarla görme problemidir. Bu tezin öncelikli hedefi videolardaki el hareketlerinin analizidir. Biz bu konuyu kalemin tepesinin hareketinden el yazısı tanıma ve el sterilizasyonu takibi olarak iki farklı bağlamda ele aldık. Her iki uygulama da ellerin doğrudan veya dolaylı hareketi dahil olmak üzere videolarda hareket tanımayı içerir. İlk olarak bu iki problem için üç eşsiz veri seti tanıtıyoruz. Ardından, sonuçta ortaya çıkan el yazısıyla yazılmış metin yerine kalem tepesini gözlemleyen birinci problem için kalem takibi ve sınıflandırılma olmak üzere iki aşamalı bir yapı önerilmiştir. Kalem takibi için, sonuçları sırasıyla Evrişimli Sinir Ağları (ESA) veya Uzun Kısa Süreli Bellek Ağları (UKSBA) tabanlı çeşitli derin öğrenme sınıflandırıcılarına beslenen işaret tabanlı ve işaret tabanlı olmayan takip yöntemleri kullanıyoruz. Zamana bağlı hareketin kodlanmasını inceleyen ikinci aşamadaki sınıflandırma görevine birkaç yeni alternatif arasında, tek görüntü kodlaması yeni bir alternatif sağlarken, UKSBA en iyi çözümü verir. Elbette, ilk aşama için işaretçi tabanlı takip en iyi takip sonuçlarını verir, dolayısıyla marker tabanlı olmayan takip için %73 doğrulukla kıyaslandığında %94 sınıflandırma doğruluğu elde edilir. İkinci problem için, el yıkama işlemi sırasında gerçekleştirilen el hareketlerini, monoküler RGB videolardan sınıflandırıyoruz. Bu sorunun çözümleri, tek bir görüntünün, kısa bir zaman periyotunu temsil eden birden fazla görüntünün veya değişken zamansal periyotların analizini içerir. Deneylerimiz, ESA tabanlı modellerin ellerin uzamsal etkileşimini yakalarken UKSBA tabanlı modelin yıkama hareketi sırasında ellerin zamansal etkileşimini daha iyi yakalama eğiliminde olduğunu gösterir (90%). Önerilen yöntem, çok küçük bir GPU ile video tabanlı ticari bir el temizleme izleme sisteminde başarıyla kullanılmıştır. Bu tezde sağlanan ilgili analiz, gelecekte bu sorunu ele alan araştırmacılar için faydalı olabilir.
Özet (Çeviri)
The analysis of hand movements is a prominent computer vision problem appeared in diverse applications such as gesture analysis, and human-computer interaction. The primary target of this thesis is a hand movement analysis in videos. We address the issue within two different contexts which are handwriting recognition from pen top movements and hand sanitization monitoring. Both applications involve action recognition in videos including direct or indirect motion of the hands. We first introduce three unique datasets for these two problems. Then a two-stage framework, including pen tracking and classification, is proposed for the first problem in which the pen top movement is observed instead of the resulting scribed text. For pen tracking, we use a marker-based and a marker-less tracking method, whose results are in turn fed to various deep learning classifiers based on convolutional neural networks (CNN) or long short-term memory (LSTM) architectures. Among several new alternatives to the classification task in the second stage, exploring the encodings of the temporal motion, LSTMs provide the best solution while the single image encoding provides a novel alternative. Of course, marker-based tracking for the first stage yields the best tracking results, hence the classification accuracy of 94% compared to 73% accuracy for the marker-less tracking. For the second problem, we classify hand movements performed during the handwashing process from monocular RGB videos. The solutions to this problem involve analysis of a single image, multiple images representing a short time period or multiple images for varying temporal periods. Our experiments show that LSTM-based model tends to better capture temporal interaction of hands during the washing action while CNN-based models capture spatial interaction of the hands (90%). The proposed method has been successfully used in a video-based commercial hand-sanitization monitoring system with a very small GPU. Related analysis provided in this thesis can be useful for the researchers addressing this problem in the future.
Benzer Tezler
- Nöromorfik hesaplama ve memristor tabanlı ağ saldırı tespit sistemleri: Siber güvenlikte yeni yaklaşımlar
Neuromorphic computing and memristor-based network attack detection systems: New approaches in cyber security
YUSUF ETKA KÖYLÜ
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. İLHAN KOCAARSLAN
- Zamanın ve mekânın genişlemiş alanında bir kültürteknik: paralel projeksiyon
A cultural technique in the expanded field of time and space: parallel projection
MELEK KILINÇ
Doktora
Türkçe
2021
MimarlıkMimar Sinan Güzel Sanatlar ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. AHMET TERCAN
- A smart magnetic sensing system for non-destructive material property characterization
Tahribatsiz malzeme özelliği karakterizasyonu için akilli manyetik algilama sistemi
VITTORIO CORIO
Yüksek Lisans
İngilizce
2025
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiBiyomedikal Bilimler ve Mühendislik Ana Bilim Dalı
PROF. DR. İSMAİL LAZOĞLU
DR. ÖĞR. ÜYESİ LEVENT BEKER
DOÇ. DR. ALİ FUAT ERGENÇ
- Biyolojik işaretlerin gelişmiş bir sayısal işaret işlemcisiyle işlenmesi
Biomedical signal processing using a high performance DSP
DERYA DEMİR
Yüksek Lisans
Türkçe
1991
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. ERTUĞRUL YAZGAN
- Dalgacıklar ve elektrik mühendisliğindeki uygulamaları
Wavelets and application to electrical engineering
EMİNE AYAZ
Yüksek Lisans
Türkçe
1997
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Tesisleri Ana Bilim Dalı
PROF. DR. ÖZER ÇİFTÇİOĞLU