Geri Dön

Human action recognition using 3D joint information and pyramidal HOOFD features

3D eklem bilgisi ve piramit HOOFD özniteliğini kullanarak insan aktivitelerini tanıma

  1. Tez No: 394270
  2. Yazar: BARIŞ CAN ÜSTÜNDAĞ
  3. Danışmanlar: PROF. DR. MUSTAFA ÜNEL
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Mekatronik Mühendisliği, Computer Engineering and Computer Science and Control, Mechatronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2014
  8. Dil: İngilizce
  9. Üniversite: Sabancı Üniversitesi
  10. Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 65

Özet

Düşük maliyetli derinlik yakalayan cihazların piyasaya sürülmesiyle tespit, takip ve tanıma gibi birçok önemli bilgisayarla görme probleminde derinlik verisinin kullanımı yükselen bir trend haline geldi. Kinect 3D kamerası kullanılarak insan aktivitelerini tanıma konusu üzerine de bir çok çalışma yapılmış ve bu bağlamda derinlik verisinin 2D imgelerden daha efektif olduğu kanıtlanmıştır. Biz bu tezde derinlik verisinden insan aktivitelerini tanıma üzerine yeni bir yöntem geliştirdik. Bu yöntem hem 3D eklem bilgisini hem de derinlik imgelerinden hesaplanan optik akışı kullanmaktadır. Derinlik ve yoğunluk imgeleri arasında kurduğumuz bağıntı doğrultusunda derinlik imgelerinden 2D optik akış vektörleri bütün bir aktivite örneği süresince hesaplanmaktadır. Sonra, 3D eklem konumları baz alınarak bölgesel hareket değişimlerini öğrenebilmek için her bir eklemin çevresinden optik akış vektörlerini içeren parçalar çıkartılmaktadır. Bu parçalar bulunduğu ekleme göre gruplanıp geliştirdiğimiz HOOFD (Histogram of Oriented Optical Flows from Depth) özniteliğini hesaplamakta kullanılmaktadır. Zamansal değişimleri de takip edebilmek için HOOFD öznitelikleri piramitsel bir yaklaşımla hesaplanmıştır. Piramidin her seviyesinde aktivite eşit iki bölüme ayrılıp her bölüm histogramları doldurabilmek için ayrı değerlendirilmiştir. Ölçek ve hareket yönü değişmezliği avantajlarından dolayı optik akış vektörlerinin yönelimlerinden oluşan histogramlar kullanılmıştır. Naive Bayes ve Destek Vektör Makinaları (DVM) sınıflandırıcıları HOOFD öznitelikleri kullanılarak eğitilmiş ve birbirinden farklı birçok aktiviteyi tanımak için kullanılmıştır. Farklı veri kümeleri ile birçok deney yapılmış ve önerilen yöntem literatürdeki en gelişkin yöntemlerle karşılaştırılmıştır. Sonuçlar oldukça umut vericidir ve önerdiğimiz yöntem mevcut bazı tekniklerden daha iyi performans göstermektedir.

Özet (Çeviri)

With the recent release of low-cost depth acquisition devices, there is an increasing trend towards investigation of depth data in a number of important computer vision problems, such as detection, tracking and recognition. Much work has focused on human action recognition using depth data from Kinect type 3D cameras since depth data has proven to be more effective than 2D intensity images. In this thesis, we develop a new method for recognizing human actions using depth data. It utilizes both skeletal joint information and optical flows computed from depth images. By drawing an analogy between depth and intensity images, 2D optical flows are calculated from depth images for the entire action instance. From the resulting optical flow vectors, patches are extracted around each joint location to learn local motion variations. These patches are grouped in terms of their joints and used to calculate a new feature called `HOOFD' (Histogram of Oriented Optical Flows from Depth). In order to encode temporal variations, these HOOFD features are calculated in a pyramidal fashion. At each level of the pyramid, action instance is partitioned equally into two parts and each part is employed separately to form the histograms. Oriented optical flow histograms are utilized due to their invariance to scale and direction of motion. Naive Bayes and SVM classifiers are then trained using HOOFD features to recognize various human actions. We performed several experiments on publicly available databases and compared our approach with state-of-the-art methods. Results are quite promising and our approach outperforms some of the existing techniques.

Benzer Tezler

  1. Derinlik bilgisi kullanılarak insan hareketlerinin tanınması

    Recognition of human actions using depth information

    ALİ SEYDİ KEÇELİ

    Doktora

    Türkçe

    Türkçe

    2014

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. AHMET BURAK CAN

  2. Üç boyutlu iskelet verilerinden metrik öğrenme tabanlı hareket tanıma

    Metric learning based action recognition from three dimensional skeleton data

    ŞEYMA YÜCER

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. YUSUF SİNAN AKGÜL

  3. Human activity recognition using deep learning

    Derin öğrenme ile insan aktivitesi tanıma

    MURAT YALÇIN

    Yüksek Lisans

    İngilizce

    İngilizce

    2018

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ HÜLYA YALÇIN

  4. İnsan hareketlerinin takibinde karşılaşılan problemlerin çözümüne yeni yaklaşımlar

    New approaches to solve encountered problems in tracking of human movements

    MUHAMMED FATİH TALU

    Doktora

    Türkçe

    Türkçe

    2010

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. İBRAHİM TÜRKOĞLU

    PROF. DR. MEHMET CEBECİ