Structured and sequential representations for human action recognition
Yapısal ve ardışık gösterimler ile insan edimlerini tanılama
- Tez No: 338826
- Danışmanlar: PROF. DR. BÜLENT SANKUR
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2013
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 149
Özet
İnsan edimlerini tanılama en zorlu bilgisayarla görü problemlerinden biridir ve çok geniş uygulama alanlarına sahip olması bakımından oldukça önemli bir rol oynamaktadır. Video verisinden insan edimlerini analiz etmek amacıyla, bu çalışmada yapısal ve ardışık gösterimleri göz önüne aldık. Her bir edimi, imge dizilerinde, uzam-zamansal ilgin noktaları ve görünüşe dayalı öznitelikler ile betimlerken, derinlik verisinde ise bir iskelet dizisi şeklinde ifade ettik. Bu bağlamda, insan edimlerini tanılama problemini hiper-çizge eşleme ile formüle ettik. Bilindiği üzere, hiper-çizge eşleme NP-tam bir problemdir. Verimli bir şekilde çözüme ulaşmak amacıyla, bu çalışmada problemi iki aşamada indirgedik. İlk aşamada, insan edimlerinin zamanda ardışıklık özelliklerini göz önüne aldık. İndirgenmiş problemin dinamik programlama tekniği ile verimli bir şekilde çözülebileceğini gösterdik. İkinci aşamada ise çizge modelini seyrek bir ilgin nokta kümesinden oluşturarak yaklaşıkladık. Yaklaşımımız literatürdeki yöntemler ile başa baş bir sonuç vermektedir. Geliştirilen algoritmayı aynı zamanda derinlik verisine ve edim tanılama literatüründe farklı bir probleme uyguladık. Buradaki amaç, insanların bir eğitmen önderliğinde verilen edimleri hangi ölçüde doğru yaptığını öznel olarak nicelemektir. Hiper-çizgeye dayalı önerilen yöntem doğru ve yanlış hareketlerin ayırt edilmesi ve yürütülen bir edime öznel bir puan atanması problemlerine uygulanmıştır. Ayrıca, edim tanılama probleminin Saklı Markov Modelleri ile alternatif bir formülasyonunu önerdik. Sık kullanılan parametre kestirimi yöntemi beklenti-enbüyütme algoritmasının yerine, bu çalışmada yeni bir parametre kestirimi yönteminin pratik uygulanması vurgulanmaktır. Bu parametre kestrimi yöntemi, insan edimlerinin sınıf-içi çeşitliliğini etkin bir biçimde ele almak amacıyla, edim sınıfı başına çoklu Saklı Mavkov Modellerinin sonsuz katışımının öğrenilmesinde kullanılmıştır.
Özet (Çeviri)
Human action recognition problem is one of the most challenging problems in the computer vision domain, and plays an emerging role in various elds of study. In this thesis, we investigate structured and sequential representations of spatio-temporal data for recognizing human actions and for measuring action performance quality. In video sequences, we characterize each action with a graphical structure of its spatio-temporal interest points and each such interest point is quali ed by its cuboid descriptors. In the case of depth data, an action is represented by the sequence of skeleton joints. Given such descriptors, we solve the human action recognition problem through a hyper-graph matching formulation. As is known, hyper-graph matching problem is NP-complete. We simplify the problem in two stages to enable a fast solution: In the rst stage, we take into consideration the physical constraints such as time sequentiality and time irreversibility for the actions; in the second stage we approximate the problem using a sparse subset of spatio-temporal interest points. The reduced problem is then elegantly solved with the dynamic programming technique. Our approach results in competitive performance gures vis-a-vis the state-of-the-art action recognition algorithms. The proposed hyper-graph matching formulation has also been applied to the problem of the quality of action rendition. Finally, we present an alternative formulation of the action recognition problem via Hidden Markov Models (HMMs). To learn HMM parameters, contrary to the conventional approach, Expectation-Maximization algorithm, we demonstrate the practical employment of a spectral algorithm. Given the large variations in action sequences, we resort to a clustering scheme for exploring the subgroups in the training data and for learning multiple HMMs per action category.
Benzer Tezler
- İmalat stratejileri ve imalat teknolojisi seçiminde uzman sistem yaklaşımı
Manufacturing strategies and an expert system approach to selecting manufacturing technology
İBRAHİM ÇİL
Doktora
Türkçe
1997
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. RAMAZAN EVREN
- Derin pekiştirmeli öğrenme yöntemi ile görüntü hash kodlarını oluşturma
Generating image hash codes with deep reinforcement learning method
ELİF AKKAYA
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik MühendisliğiSakarya ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BURHAN BARAKLI
- Yapay Zeka'nın robot görmesi üzerine uygulanması
An Application of robot vision in artificial intelligence
FUNDA PEHLİVAN
- Uçuş mürettabatı için arıza teşhis uzman sistemi
Fault diagnosis expert system for flight crew
SEDEF ÖZÇELİK
Yüksek Lisans
Türkçe
2002
Savunma ve Savunma Teknolojileriİstanbul Teknik ÜniversitesiUzay Mühendisliği Ana Bilim Dalı
PROF. DR. ALPASLAN FIĞLALI
- Kentsel mekanda ritmin anlatısı
The narrative of the rhythm in urban space
GİZEM ALATAŞ TEMEL
Yüksek Lisans
Türkçe
2019
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
DOÇ. PELİN DURSUN ÇEBİ