Human behavior understanding using video analysis
Video analizi ile insan davranışı anlama
- Tez No: 441980
- Danışmanlar: PROF. DR. UĞUR HALICI
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2016
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 106
Özet
Bu çalışmada insan davranışı anlama probleminin çözümü için yeni bir hierarşik yapı önerilmiştir. Futbol video oyunu (FVO) veriseti isimli yeni bir veriseti üretilmiştir. Bu veriseti literatürdeki verisetlerinden daha karmaşık davranışları içermektedir. Futbol topu bayır inişi metoduyla eğitilmiş ve sorgularla öğrenme tekniğiyle geliştirilmiş çok katmanlı yapay sinir ağı ile tespit edilmekte ve büyüyen pencere algoritması ile takip edilmektedir. Topun etrafındaki ilgili alan bu yöntemle çıkarıldıktan sonra atomik aksiyon iki yöntemden birisiyle tanınmaktadır. Birinci yöntem literatürde sıkça atıf alan Dollar ve arkadaşlarının küboid özniteliklerine dayanmaktadır. İkinci yöntem ise bu çalışmada önerilmiş olan pozların karışımı yaklaşımıdır. Pozların karışımının bir uzantısı olarak Fisher vektörleri Pozların karışımını vektörel formda temsil edebilmek üzere kullanılmıştır. Bu katmanda tanınan atomik aksiyonlar serisi bir üst katmana girdi olarak beslenmektedir. Bir üst katmanda karmaşık aktivite tanıması yapılmaktadır. Aktivite tanıma katmanında iki yaklaşımdan birisi kullanılmaktadır. Birinci yaklaşım literatürde sıkça kullanılan Gizli Markov Modeli (GMM), ikinci yaklaşım ise teorik olarak GMM'nin tanıyamadığı serileri tanıyabilen İçerikten Bağımsız Gramer'dir (İBG). Bu çalışmanın bir özgünlüğü de yeni aktivite türlerinin Cook, Yunger and Kasami (CYK) algoritması kullanılarak gramer tümevarım yöntemiyle öğrenilmesidir. Bu şekilde hem daha önce sisteme tanıtılmış olan aktiviteler tanınabilmekte hem de yeni gelen aktivite türleri öğrenilebilmektedir. Bu çalışmada özgün olarak üretilmiş FVO veriseti bu dört kombinasyon ile test edilmiş ve sonuçlar verilmiştir. Basit aksiyon tanıma için önerilen MoP algoritması %70 başarı sağlayarak %53,95 başarı sağlayan Dollar ve arakadaşlarının küboid öznitelikler algoritmasını açık ara geride bırakmıştır. MoP'la beraber Fisher vektörü kullaımı performansı %67'ye düşürse de hız açısından büyük kazanç sağlanmaktadır. Kompleks aktivite tanımada MoP-CFG çifti, MoP-HMM çifti gibi %62.5 başarı sağlayarak küboid-CFG/HMM çiftlerini açık ara geride bırakmışlardır. CFG'nin tanıyıp HMM'in tanıyamadığı aktiviteler vardır. Bunlara bir örnek top çevirme aktivitesidir.
Özet (Çeviri)
In this study we proposed a new hierarchical architecture for solution of human behavior understanding problem. A new dataset, namely football video game (FVG) dataset, is generated which involves activities more complex than any other dataset present in the literature. Football ball is detected using multilayer neural networks trained with gradient descent algorithm and enhanced using learning with queries method and it is tracked using growing window algorithm. After region of interest is extracted around ball detected and tracked, primitive action is recognized using one of three types of approaches. First one is based on the well-known Dollar et.al. cuboid features.The second one is mixture of poses approach proposed in this study. Third is an extension to mixture of poses, where fisher vector is employed for the representation of mixture of poses in vectorel form. Primitive action sequences found sequentially in this layer are fed to higher layer activity recognition layer. In the activity recognition layer one of two types of approaches are used. One is well known Hidden Markov Model (HMM), known to work well on time series data and the other is Context Free Grammar (CFG) which can theoretically recognize more complex sequences that HMM can not. Another novelty of this study is new activity types are learnt using grammar induction with the Cook, Yunger and Kasami (CYK) algorithm. So, this way either pre-taught activity types can be recognized or new activity types can be learnt. The FVG dataset that we generated is tested with four combinations of approaches and encouraging results are obtained. For primitive action recognition, the proposed MoP algorithm has success rate of 69.3%, clearly exceeding widely referenced Dollar et. al. cuboid features which achieves success rate of 54.0%. Employing Fisher vector with MoP slightly decreases performance to 67.0 % while achieving high speed. For complex activity recognition, MoP-CFG pair achieves success rate of 62.5%, same with MoP-HMM pair. They clearly exceed cuboid-CFG/HMM pairs which achieves success rate of 42.5%.There are activities those can be recognized by CFG but not by HMM. An example for these is passing the ball around activity.
Benzer Tezler
- Biyomekanik analiz tabanlı insan hareketi tanıma algoritmalarının geliştirilmesi
Development of biomechanical analysis-based human motion recognition algorithms
BETÜL AY
Yüksek Lisans
Türkçe
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MEHMET KARAKÖSE
- Classification of music emotions with pre-trained models
Önceden eğitilmiş modellerle müzik duygularının sınıflandırılması
ZAINAB YASEEN TAHA TAQA
Yüksek Lisans
İngilizce
2023
Bilim ve TeknolojiÇankaya ÜniversitesiEnformatik Ana Bilim Dalı
Assist. Prof. Dr. ABDÜL KADİR GÖRÜR
- Değişim mühendisliği
Başlık çevirisi yok
ESRA SEZGİN
Yüksek Lisans
Türkçe
1996
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiDOÇ.DR. MEHMET TANYAŞ
- Video görüntülerinden trafik kazası riskini gerçek zamanlı belirleyen bir sistem tasarımı
A system design for determining traffic accident risk from real-time video images
UYGAR ER
Yüksek Lisans
Türkçe
2012
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. M. ELİF KARSLIGİL
- Understanding the gestural, lexical and grammatical development of turkish-speaking infants and toddlers: Validity study of the Turkish Communicative Development Inventory (TIGE)
Türkçe konuşan çocukların iletişim davranışları, sözcük dağarcığı ve dilbilgisi gelişimini gözlemlemek: Türkçe İletişim Gelişimi Envanteri (TİGE) geçerlik çalışması
BURÇAK AKTÜRK