Hareketli RGB-D görüntülerinden el parmaklarının tesbiti
Hand finger recognition from RGB-D video images
- Tez No: 364229
- Danışmanlar: YRD. DOÇ. DR. MİNE ELİF KARSLIGİL YAVUZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2014
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 95
Özet
Bilgisayarların, hayatımızın değişilmez bir parçası haline geldiği günümüzde, herkes tarafından etkili ve verimli bir şekilde kullanılabilmesi için, insan bilgisayar etkileşimine dayalı ara yüzlerin geliştirilmesi, klavye ve farenin yanı sıra günlük hayatta kullandığımız iletişim yöntemlerinden vücut dili ile de bilgisayarı kontrol edebilmek için gerekli hale gelmiştir. Sanal gerçeklik uygulamalarında da her zaman bir araştırma konusu olan elin yerinin ve şeklinin çıkarımı için, sanal gerçeklik uygulamalarının ilk zamanlarından itibaren eldiven kullanımı, görüntü algılama yöntemleri ile ten rengine göre veya arka plan görüntü çıkarımı yöntemi ile bölütleme, kızılötesi kamera kullanımı gibi yöntemler kullanılmıştır. Bu tez çalışmasında, görüntü ve derinlik bilgisi veren RGB-D kameradan alınan derinlik verisi kullanılarak, görüntüdeki elin açık parmaklarının konumunu ve şeklini anlayan bir sistem tasarlanmış ve gerçekleştirilmiştir. Parmakların konumlarının ve şekillerinin görüntüde belirlenmesi, insan bilgisayar etkileşimine dayalı ara yüzlerin tasarımında parmak bilgilerinin de kullanılmasını sağlamaktadır. RGB-D kamera olarak Kinect kullanılan bu çalışmada ilk olarak, RGB-D kameradan alınan derinlik bilgisinin işlenmesi ile oluşturulmuş iskelet verisinden kamera önündeki aktif kullanıcının eli belirlenerek, el görüntüsü derinlik görüntüsünden ikili görüntü formatında bölütlenmiştir. Parmakların çıkarımında kullanılacak ikili el görüntüsünden daha iyi sonuç alabilmek için, görüntü ön işlemeden geçirilerek morfolojik açma işlemi ile iki parmak arası boşluğun belirginleşmesi sağlanmıştır. Eli içine alan bir dış bükey örtünün olduğu varsayılırsa, parmak uçları dış bükey örtünün köşe noktalarında yer alacaktır. Kenar takibi yöntemi ile elin kenar görüntüsü çıkartılarak, kenar görüntüsünden dış bükey örtü çıkartılmış ve belirli koşulları sağlayan köşe noktaları parmak ucu olarak algılanmıştır. Parmak uçları ve bilek noktasından ise parmak iskeletleri oluşturulmuştur. Açık parmakların tanınması için, parmak iskeletlerinin ayırt edici şekilsel özellikleri çıkartılmıştır. Başlangıç durumunda, tüm parmakların açık şekilde olduğu el görüntüsü alınarak, parmakların belirleyici şekilsel özellikleri sisteme tanıtılmaktadır. Açık parmakların tanınması işlemi, belirlenen parmağın şekilsel özellikleri sisteme tanıtılan tüm parmaklarınki ile karşılaştırılıp, kendine en çok benzeyen parmağın belirlenmesi yöntemi ile yapılmaktadır.
Özet (Çeviri)
Nowadays that computer have been an indispensable part of our lives, developing interfaces that enable body language as an input device as well as mouse and keyboard for human-computer interaction is essential for using the computers more efficiently. Finding the location and shape of the human hand has always been studied in the field of virtual reality, too. Glove based techniques had been widely studied in the early years of the field. Then, image processing techniques color segmentation and background substruction were used. Finally, in the last years of the field infrared camera is started to use. In this thesis study, an application that finds locations and shapes of the open fingers in the depth image taken from RGB-D camera which provides color and depth data was developed. Finding the locations and shapes of the fingers in the image makes fingers available for the design of interfaces that enables human computer interaction. First of all, in this study where Kinect used as RGB-D camera in binary hand image was segmented from the depth image after finding the location of hand that belongs to active user in front of the camera using skeleton data which is produced via processing the depth data of RGB-D camera. For getting better results from binary hand image, binary image was preprocessed and gaps between the fingers were made clear with morphological opening operation. If it is considered that the hand is surrounded by a convex hull, finger tips will lie on the edges of convex hull. Contour tracing followed by convex hull extraction was performed and the edge points that provide some specific conditions of convex hull were extracted as finger tips. Finger skeletones were produced with using the finger tips and wrist point. To recognize the open fingers, characteristic attributes of finger skeletons were extracted. Initial hand image that all the fingers are open in is taken and the characteristic attributes of fingers are introduced to system at the beginning. Open fingers are recognized by comparing characteristic attributes of finger skeletons with the ones that are introduced to system and finding the most similar one.
Benzer Tezler
- Kinect rgb görüntülerinde ve derinlik haritalarında uzam-zamansal özellikleri kullanarak işaret dili tanıma
Sign language recognition using spatio-temporal features on Kinect rgb video sequences and depth maps
ABBAS MEMİŞ
Yüksek Lisans
Türkçe
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. SONGÜL ALBAYRAK
- 3-boyutlu artık ağ eylem tanıma modeli ile süpermarket video görüntülerinde hırsızlık tespiti
Theft detection in supermarket videos with 3-dimensional action recognition residual network model
EMİRHAN TOPRAK
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBursa Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUSTAFA ÖZDEN
- Derin öğrenme ile cerrahi video anlama
Surgical video understanding with deep learning
ABDISHAKOUR ABDILLAHI AWALE ABDISHAKOUR ABDILLAHI AWALE
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilişim Sistemleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DUYGU SARIKAYA
- Gözetim videolarının periyodik tekrar bilgileri kullanılarak özetlenmesi
Summarization of surveillance videos by using periodic recurrence information
OKAN ÇANDIR
Yüksek Lisans
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MİNE ELİF KARSLIGİL YAVUZ
- Üç boyutlu iskelet verilerinden metrik öğrenme tabanlı hareket tanıma
Metric learning based action recognition from three dimensional skeleton data
ŞEYMA YÜCER
Yüksek Lisans
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. YUSUF SİNAN AKGÜL