Geri Dön

Continuous vs fixed-window temporal data processing for hand movement analysis

Başlık çevirisi mevcut değil.

PDF İndir

  1. Tez No: 691558
  2. Yazar: BEYZA TÜRKMEN
  3. Danışmanlar: DR. ÖĞR. ÜYESİ YAKUP GENÇ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: İngilizce
  9. Üniversite: Gebze Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 55

Özet

El hareketlerinin analizi, el hareketi analizi ve insan-makine etkileşimi gibi çeşitli uygulamalarda ortaya çıkan yaygın bir bilgisayarla görme problemidir. Bu tezin öncelikli hedefi videolardaki el hareketlerinin analizidir. Biz bu konuyu kalemin tepesinin hareketinden el yazısı tanıma ve el sterilizasyonu takibi olarak iki farklı bağlamda ele aldık. Her iki uygulama da ellerin doğrudan veya dolaylı hareketi dahil olmak üzere videolarda hareket tanımayı içerir. İlk olarak bu iki problem için üç eşsiz veri seti tanıtıyoruz. Ardından, sonuçta ortaya çıkan el yazısıyla yazılmış metin yerine kalem tepesini gözlemleyen birinci problem için kalem takibi ve sınıflandırılma olmak üzere iki aşamalı bir yapı önerilmiştir. Kalem takibi için, sonuçları sırasıyla Evrişimli Sinir Ağları (ESA) veya Uzun Kısa Süreli Bellek Ağları (UKSBA) tabanlı çeşitli derin öğrenme sınıflandırıcılarına beslenen işaret tabanlı ve işaret tabanlı olmayan takip yöntemleri kullanıyoruz. Zamana bağlı hareketin kodlanmasını inceleyen ikinci aşamadaki sınıflandırma görevine birkaç yeni alternatif arasında, tek görüntü kodlaması yeni bir alternatif sağlarken, UKSBA en iyi çözümü verir. Elbette, ilk aşama için işaretçi tabanlı takip en iyi takip sonuçlarını verir, dolayısıyla marker tabanlı olmayan takip için %73 doğrulukla kıyaslandığında %94 sınıflandırma doğruluğu elde edilir. İkinci problem için, el yıkama işlemi sırasında gerçekleştirilen el hareketlerini, monoküler RGB videolardan sınıflandırıyoruz. Bu sorunun çözümleri, tek bir görüntünün, kısa bir zaman periyotunu temsil eden birden fazla görüntünün veya değişken zamansal periyotların analizini içerir. Deneylerimiz, ESA tabanlı modellerin ellerin uzamsal etkileşimini yakalarken UKSBA tabanlı modelin yıkama hareketi sırasında ellerin zamansal etkileşimini daha iyi yakalama eğiliminde olduğunu gösterir (90%). Önerilen yöntem, çok küçük bir GPU ile video tabanlı ticari bir el temizleme izleme sisteminde başarıyla kullanılmıştır. Bu tezde sağlanan ilgili analiz, gelecekte bu sorunu ele alan araştırmacılar için faydalı olabilir.

Özet (Çeviri)

The analysis of hand movements is a prominent computer vision problem appeared in diverse applications such as gesture analysis, and human-computer interaction. The primary target of this thesis is a hand movement analysis in videos. We address the issue within two different contexts which are handwriting recognition from pen top movements and hand sanitization monitoring. Both applications involve action recognition in videos including direct or indirect motion of the hands. We first introduce three unique datasets for these two problems. Then a two-stage framework, including pen tracking and classification, is proposed for the first problem in which the pen top movement is observed instead of the resulting scribed text. For pen tracking, we use a marker-based and a marker-less tracking method, whose results are in turn fed to various deep learning classifiers based on convolutional neural networks (CNN) or long short-term memory (LSTM) architectures. Among several new alternatives to the classification task in the second stage, exploring the encodings of the temporal motion, LSTMs provide the best solution while the single image encoding provides a novel alternative. Of course, marker-based tracking for the first stage yields the best tracking results, hence the classification accuracy of 94% compared to 73% accuracy for the marker-less tracking. For the second problem, we classify hand movements performed during the handwashing process from monocular RGB videos. The solutions to this problem involve analysis of a single image, multiple images representing a short time period or multiple images for varying temporal periods. Our experiments show that LSTM-based model tends to better capture temporal interaction of hands during the washing action while CNN-based models capture spatial interaction of the hands (90%). The proposed method has been successfully used in a video-based commercial hand-sanitization monitoring system with a very small GPU. Related analysis provided in this thesis can be useful for the researchers addressing this problem in the future.

Benzer Tezler

  1. Tez No

    390575

    Soft metrik ve soft normlu uzaylar

    Soft metric and soft normed spaces

    MURAT İBRAHİM YAZAR

    Doktora

    Türkçe

    Türkçe

    2014

    MatematikYüzüncü Yıl Üniversitesi

    Analiz ve Fonksiyonlar Teorisi Ana Bilim Dalı

    PROF. DR. TUNAY BİLGİN

    DOÇ. DR. SADİ BAYRAMOV

  2. Tez No

    131644

    Ni-Fe ince filmlerin elektrodepozisyonu ve karakterizasyonu

    Electrodeposition and characterization of Ni-Fe thin films

    HİLAL TOPÇU

    Yüksek Lisans

    Türkçe

    Türkçe

    2003

    Fizik ve Fizik MühendisliğiBalıkesir Üniversitesi

    Fizik Ana Bilim Dalı

    YRD. DOÇ. DR. HAKAN KÖÇKAR

    DOÇ. DR. MÜRSEL ALPER

  3. Tez No

    695031

    Enhancement of biogas production from cattle manure using a combined microbial electrolysis cell and anaerobic digester

    Kombine mikrobiyal elektroliz hücresi ve anaerobik çürütücü kullanılarak büyükbaş hayvansal gübresinden biyogaz üretiminin arttırılması

    KENAN DALKILIÇ

    Doktora

    İngilizce

    İngilizce

    2021

    BiyoteknolojiHacettepe Üniversitesi

    Çevre Mühendisliği Ana Bilim Dalı

    PROF. DR. AYŞENUR UĞURLU

  4. Tez No

    906758

    Tek akciğer ventilasyonunda oksijen rezerv indeks takibi ile fio2 ayarlanmasının hiperoksi biyobelirteçleri ve postoperatif komplikasyonlara etkisi

    Effects of fio2 adjustment on the hyperoxia biomarkers and postoperative complications using oxygen reserve index on one lung ventilation

    BUĞRA AYKENAR

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2023

    Anestezi ve ReanimasyonBaşkent Üniversitesi

    Anesteziyoloji Ana Bilim Dalı

    PROF. DR. PINAR ZEYNELOĞLU

    DR. ÖĞR. ÜYESİ ASUDE AYHAN

  5. Tez No

    736166

    Design and optimization of variable stiffness composite structures modeled using Bézier curves

    Bézier eğrileriyle modellenen değişken katılıklı kompozit yapıların tasarımı ve optimizasyonu

    ONUR COŞKUN

    Doktora

    İngilizce

    İngilizce

    2022

    Havacılık ve Uzay Mühendisliğiİstanbul Teknik Üniversitesi

    Uçak ve Uzay Mühendisliği Ana Bilim Dalı

    PROF. DR. HALİT SÜLEYMAN TÜRKMEN

Geri Dön