Vision based real-time continuous 3d hand gesture recognition interface for generic applications based on input-output hidden markov models
Girdi-çıktı saklı markov modelleri ile gerçek zamanlı olarak üç boyutlu el hareketlerinin tanınmasına dayanan görü tabanlı etkıleşimli arayüz
- Tez No: 181212
- Danışmanlar: PROF. DR. LALE AKARUN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2006
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 136
Özet
Bu şalışmanın amacı Girdi-Cıktı Saklı Markov Modelleri kullanarak hem hareketcs şhem şekil değişimi işeren uş boyutlu el hareketlerini stereo gürüntüler uzerinden gerşeks gs c üc ou u ü cüzamanlı olarak tanıyacak bir etkileşimli arayüz geliştirmektir. Onerilen sistem kul-s u slanıcıların hem manipülatif hem haberleşmeye yünelik doğal el hareketleriyle PC uygu-u s o glamalarını kontrol etmelerini sağlayacak şekilde tasarlanmıştır. Bu iki tip el hareketig s ssistem tarafından gerşek zamanlı olarak ayırdedilebilmektedir. Uygulama, etkileşimlic shareket eğitimi ve kamera kalibrasyonu işin birer yazılım aracı da işerir. Eli ayırdetmekg c cişin kullanılan renkli eldivenler her renk olabilir, ve el ayırdetme problemini basitleşti-c srerek tanıma başarısını arttırırlar.süOnerilen sistemde elleri modellemek işin el şekli üzniteliği olarak Hu momentleric s o gve elin aşısı kullanıldı. Yeni bir yaklaşım olarak düzgelenmiş zaman bilgisinin Girdi-c s u sCıktı Saklı Markov Modellere girdi olarak verilmesinin bu modellerin saklı durumlarınınşsürekli bir yapı kazanması sağlandı ve bunun el şekli tanımadaki başarı oranını arttırdığıu g s s ggüsterildi. Ayrıca Girdi-Cıktı Saklı Markov Modelleri uzerine kurulu tanıma sistemlerio ş üişin tanımlı el şekillerini tanımsız hareketlerden ayıracak yeni bir uyarlanır eşik modelic s stasarlandı.üOnerilen sistem farklı hareketler işeren on şekilden oluşan ve aynı hareketleric s spaylaşan on cift el hareketinden oluşan iki ayrı el şekli veritabanı uzerinde test edil-s ş s s üvimiştir. Sistem ilk veritabanı uzerinde 2885 denemede 97.6%, ikinci veritabanında ises ü8675 denemede 94.1% tanıma başarı oranı güstermiştir. Bu oranlar uyarlanır eşiks o s smodeli ile sürekli bir girdi uzerinden tanıma yapıldığında ilk veritabanı işin 97.1%,u ü g cikinci veritabanı işinse 93.8% cıkmıştır.c ş s
Özet (Çeviri)
This study focuses on the application of Input-Output Hidden Markov Models(IOHMM) to the recognition of 3D hand gestures that involve both hand motion andhand posture in a stereo vision-based approach. The proposed system is designed as areal time gestural interface that allows both communicative and manipulative gesturesto control target PC applications. The system allows training of new communicativegestures and automatically distinguishes these from manipulative gestures in continu-ous streams. Uniquely colored gloves with no preset colors are used as markers, whichincreases the recognition rate and simpliï¬es the hand localization problem. Cameracalibration and gesture training tools are provided with the system.The hand shape is modeled with Hu moments and the angle of the hand. Asa novel approach the inclusion of normalized time information as an input to theIOHMMs is proposed, which has the eï¬ect of a continuous state variable and is shownto handle temporal information better. Another novel method is proposed for gesturespotting in IOHMM-based frameworks, which distinguishes the meaningful gestures ina continuous input stream in real time using a threshold model with a single hiddenstate.The system is tested on two datasets that have 10 gestures with distinct trajecto-ries, and 20 gestures in 10 pairs that share the same trajectories. The proposed systemivis able to attain a recognition rate of 97.6% on the former dataset in 2885 trials, and arecognition rate of 94.1% on the latter dataset in 8675 trials. The gesture segmentationtest results for the same datasets with the inclusion of the proposed threshold modelare 97.1% for the former and 93.8% for the latter dataset.
Benzer Tezler
- Mimari tasarım sürecinin erken aşamasında kullanılacak artırılmış gerçeklik uygulamalarının geliştirilmesi için bir yöntem önerisi
A new approach for development of a mobile augmented reality application to be used in the early phases of the architectural design process
MAHMUT ÇAĞDAŞ DURMAZOĞLU
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilişim Ana Bilim Dalı
PROF. DR. LEMAN FİGEN GÜL
- Depth extraction, refinement and confidence estimation from image data
Başlık çevirisi yok
GÖRKEM SAYGILI
Doktora
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTechnische Universiteit Delft (Delft University of Technology)PROF. DR. M. J. T. REINDERS
DR. E. A. HENDRIKS
- Vision-based human-computer interaction using laser pointer
Lazer işaretçisi kullanarak bilgisayarlı görmeye dayalı insan-makine etkileşimi
İBRAHİM AYKUT ERDEM
Yüksek Lisans
İngilizce
2003
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. VOLKAN ATALAY
- Vision-based monitoring and control of fiber laser welding
Fiber lazer kaynağının görüntü tabanlı gözlemlenmesi ve denetimi
EMRE TAVKAYA
Yüksek Lisans
İngilizce
2014
Makine Mühendisliğiİzmir Yüksek Teknoloji EnstitüsüMakine Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MEHMET İSMET CAN DEDE
- Computer vision based multi-lingual fingerspelling recognition
Bilgisayarla görme tabanlı çok dilli parmak alfabesi tanıma
AHMET ALP KINDIROĞLU
Yüksek Lisans
İngilizce
2011
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. LALE AKARUN