Geri Dön

Human behavior understanding using video analysis

Video analizi ile insan davranışı anlama

  1. Tez No: 441980
  2. Yazar: CELAL ONUR GÖKÇE
  3. Danışmanlar: PROF. DR. UĞUR HALICI
  4. Tez Türü: Doktora
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2016
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 106

Özet

Bu çalışmada insan davranışı anlama probleminin çözümü için yeni bir hierarşik yapı önerilmiştir. Futbol video oyunu (FVO) veriseti isimli yeni bir veriseti üretilmiştir. Bu veriseti literatürdeki verisetlerinden daha karmaşık davranışları içermektedir. Futbol topu bayır inişi metoduyla eğitilmiş ve sorgularla öğrenme tekniğiyle geliştirilmiş çok katmanlı yapay sinir ağı ile tespit edilmekte ve büyüyen pencere algoritması ile takip edilmektedir. Topun etrafındaki ilgili alan bu yöntemle çıkarıldıktan sonra atomik aksiyon iki yöntemden birisiyle tanınmaktadır. Birinci yöntem literatürde sıkça atıf alan Dollar ve arkadaşlarının küboid özniteliklerine dayanmaktadır. İkinci yöntem ise bu çalışmada önerilmiş olan pozların karışımı yaklaşımıdır. Pozların karışımının bir uzantısı olarak Fisher vektörleri Pozların karışımını vektörel formda temsil edebilmek üzere kullanılmıştır. Bu katmanda tanınan atomik aksiyonlar serisi bir üst katmana girdi olarak beslenmektedir. Bir üst katmanda karmaşık aktivite tanıması yapılmaktadır. Aktivite tanıma katmanında iki yaklaşımdan birisi kullanılmaktadır. Birinci yaklaşım literatürde sıkça kullanılan Gizli Markov Modeli (GMM), ikinci yaklaşım ise teorik olarak GMM'nin tanıyamadığı serileri tanıyabilen İçerikten Bağımsız Gramer'dir (İBG). Bu çalışmanın bir özgünlüğü de yeni aktivite türlerinin Cook, Yunger and Kasami (CYK) algoritması kullanılarak gramer tümevarım yöntemiyle öğrenilmesidir. Bu şekilde hem daha önce sisteme tanıtılmış olan aktiviteler tanınabilmekte hem de yeni gelen aktivite türleri öğrenilebilmektedir. Bu çalışmada özgün olarak üretilmiş FVO veriseti bu dört kombinasyon ile test edilmiş ve sonuçlar verilmiştir. Basit aksiyon tanıma için önerilen MoP algoritması %70 başarı sağlayarak %53,95 başarı sağlayan Dollar ve arakadaşlarının küboid öznitelikler algoritmasını açık ara geride bırakmıştır. MoP'la beraber Fisher vektörü kullaımı performansı %67'ye düşürse de hız açısından büyük kazanç sağlanmaktadır. Kompleks aktivite tanımada MoP-CFG çifti, MoP-HMM çifti gibi %62.5 başarı sağlayarak küboid-CFG/HMM çiftlerini açık ara geride bırakmışlardır. CFG'nin tanıyıp HMM'in tanıyamadığı aktiviteler vardır. Bunlara bir örnek top çevirme aktivitesidir.

Özet (Çeviri)

In this study we proposed a new hierarchical architecture for solution of human behavior understanding problem. A new dataset, namely football video game (FVG) dataset, is generated which involves activities more complex than any other dataset present in the literature. Football ball is detected using multilayer neural networks trained with gradient descent algorithm and enhanced using learning with queries method and it is tracked using growing window algorithm. After region of interest is extracted around ball detected and tracked, primitive action is recognized using one of three types of approaches. First one is based on the well-known Dollar et.al. cuboid features.The second one is mixture of poses approach proposed in this study. Third is an extension to mixture of poses, where fisher vector is employed for the representation of mixture of poses in vectorel form. Primitive action sequences found sequentially in this layer are fed to higher layer activity recognition layer. In the activity recognition layer one of two types of approaches are used. One is well known Hidden Markov Model (HMM), known to work well on time series data and the other is Context Free Grammar (CFG) which can theoretically recognize more complex sequences that HMM can not. Another novelty of this study is new activity types are learnt using grammar induction with the Cook, Yunger and Kasami (CYK) algorithm. So, this way either pre-taught activity types can be recognized or new activity types can be learnt. The FVG dataset that we generated is tested with four combinations of approaches and encouraging results are obtained. For primitive action recognition, the proposed MoP algorithm has success rate of 69.3%, clearly exceeding widely referenced Dollar et. al. cuboid features which achieves success rate of 54.0%. Employing Fisher vector with MoP slightly decreases performance to 67.0 % while achieving high speed. For complex activity recognition, MoP-CFG pair achieves success rate of 62.5%, same with MoP-HMM pair. They clearly exceed cuboid-CFG/HMM pairs which achieves success rate of 42.5%.There are activities those can be recognized by CFG but not by HMM. An example for these is passing the ball around activity.

Benzer Tezler

  1. Biyomekanik analiz tabanlı insan hareketi tanıma algoritmalarının geliştirilmesi

    Development of biomechanical analysis-based human motion recognition algorithms

    BETÜL AY

    Yüksek Lisans

    Türkçe

    Türkçe

    2014

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. MEHMET KARAKÖSE

  2. Classification of music emotions with pre-trained models

    Önceden eğitilmiş modellerle müzik duygularının sınıflandırılması

    ZAINAB YASEEN TAHA TAQA

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilim ve TeknolojiÇankaya Üniversitesi

    Enformatik Ana Bilim Dalı

    Assist. Prof. Dr. ABDÜL KADİR GÖRÜR

  3. Değişim mühendisliği

    Başlık çevirisi yok

    ESRA SEZGİN

    Yüksek Lisans

    Türkçe

    Türkçe

    1996

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    DOÇ.DR. MEHMET TANYAŞ

  4. Video görüntülerinden trafik kazası riskini gerçek zamanlı belirleyen bir sistem tasarımı

    A system design for determining traffic accident risk from real-time video images

    UYGAR ER

    Yüksek Lisans

    Türkçe

    Türkçe

    2012

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. M. ELİF KARSLIGİL

  5. Understanding the gestural, lexical and grammatical development of turkish-speaking infants and toddlers: Validity study of the Turkish Communicative Development Inventory (TIGE)

    Türkçe konuşan çocukların iletişim davranışları, sözcük dağarcığı ve dilbilgisi gelişimini gözlemlemek: Türkçe İletişim Gelişimi Envanteri (TİGE) geçerlik çalışması

    BURÇAK AKTÜRK

    Yüksek Lisans

    İngilizce

    İngilizce

    2012

    DilbilimKoç Üniversitesi

    Psikoloji Ana Bilim Dalı

    PROF. DR. AYLİN KÜNTAY