Face touch detection based on hand gesture recognition using wearable motion sensors and deep learning
Giyilebilir hareket sensörleri ve derin öğrenme kullanarak elin hareketlerini tanımaya dayalı yüze dokunma tespiti
- Tez No: 719930
- Danışmanlar: DR. ÖĞR. ÜYESİ EFTAL ŞEHİRLİ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Karabük Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 79
Özet
Fitness bantları ve akıllı saatler gibi bileğe takılan cihazların popülaritesi son yıllarda artmıştır. Bu cihazlar, vücut ve ellerin aktivitelerini analiz etmek ve izlemek için kullanılabilecek çok çeşitli sağlık, fitness ve hareket sensörleriyle donatılmıştır. Bileğe veya kola takılmaları ellerin hareketini tanıma gibi el aktiviteleri izleme uygulamaları için bu cihazları iyi bir seçenek yapmaktadır. COVID-19 pandemisinin dünya çapında yayılmasıyla birlikte, Dünya Sağlık Örgütü (WHO) viral enfeksiyonlara sebebiyet verebilen el ile yüze temas etmekten kaçınmanın önemi üzerinde durmuştur. Fakat, yüze dokunuşların birçoğu bilinçsizce yapıldığından dolayı, insanların ellerinin hareketlerini izlemesi ve yüzlerine dokunmaktan kaçınması zordur. Bu durum otomatik olarak yüze dokunma tespiti ihtiyacını doğurmaktadır. Bu tezde ellerin hareketini sınıflandırmak ve yüze dokunma hareketlerini tanımlamak için küçük, verimli ve uçtan uca Evrişimsel Sinir Ağları (CNN) modelini kullanan bir akıllı saat uygulaması önerilmektedir. Geliştirilen uygulama gerçek zamanlı bir geri bildirim sağlamakta ve kullanıcıyı yüze dokunmaya çalıştığında titreşim ve sesle uyarmaktadır. Bu çözüm bilinçsizce yüze dokunuşlarının azalmasına ve enfeksiyon oranlarının düşmesine olanak sağlayacaktır. Elde edilen sonuçlara göre, önerilen çözüm %0.04'lük düşük Yanlış Pozitif Oranı, %96.75 ile ortalama hassasiyet, %95.1 ile ortalama kesinlik ve %95.85 ile ortalama F1-Skoruna ulaşmıştır. Verimli ayarlamalar ve küçük modeller kullanarak geliştirilen uygulama pil üzerinde önemli bir etki yaratmadan uzun saatler boyunca çalışabilir ve bu da onu kullanıma hazır akıllı saatlerin çoğuna uygulanabilir hale getirmektedir.
Özet (Çeviri)
Wearable devices like fitness bands and smartwatches have increased in popularity in recent years. Those devices are fitted with wide range of health, fitness, and motion sensors that can be utilized to analyze and monitor body and hand activities. Being worn on the wrist or arm make them a good candidate for hand activity monitoring applications like Hand Gesture Recognition (HGR). With the worldwide spread of COVID-19 pandemic, many recommendations were issued by World Health Organization (WHO), to avoid touching the face as it was a main method for viral infections. However, most face touches are done unconsciously that is why, it is difficult for people to monitor their hand moves and try to avoid touching the face which opens the need for automatic Face-Touch Detection (FTD) solution. This thesis proposes a smartwatch application that uses small, efficient, and end-to-end Convolutional Neural Networks (CNN) models to classify hand motion and identify Face-Touch moves. The application provides a real-time feedback and alerts the user with vibration and sound whenever attempting to touch the face, which leads to lower unconscious face touches and lower infection rates. The obtained results for recall, precision, F1-Score, and accuracy were calculated as 96.75%, 95.1%, 95.85%, 99.70% respectively, with low False Positives Rate (FPR) of 0.04%. By using efficient configurations and small models, the application can run for long hours without significant impact on battery which makes it applicable on most out-of-the-shelf smartwatches.
Benzer Tezler
- Isolation of action execution failures for cognitive robots
Bilişsel robotlar için eylem yürütme hatalarının tanısı
DOĞAN ALTAN
Yüksek Lisans
İngilizce
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. SANEM SARIEL TALAY
- Zemin etüdü ve ıslahı işlerinde maliyet planlaması, analizi ve tahmini
Cost planning, analysis and estimation in soil investigation and improvement works
AHMET ERTÜRK
Yüksek Lisans
Türkçe
2012
Makine Mühendisliğiİstanbul Teknik ÜniversitesiYapı Mühendisliği Ana Bilim Dalı
DOÇ. DR. G. EMRE GÜRCANLI
- Automatic caricature recognition
Otomatik karikatür tanıma
BAHRİ ABACI
Yüksek Lisans
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. TAYFUN AKGÜL
- Evaluating performance of different remote sensing techniques and various interpolation approaches for soil salinity assessment
Toprak tuzluluğu değerlendirmesi için farklı uzaktan algılama teknikleri ve çeşitli interpolasyon yaklaşımlarının performansının değerlendirilmesi
TAHA GORJI
Doktora
İngilizce
2021
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
PROF. DR. AYŞE GÜL TANIK
- Object-aware interactive perception
Nesne farkındalıklı etkileşimli algılama
ÇAĞATAY KOÇ
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SANEM SARIEL UZER
PROF. DR. SİNAN KALKAN