Automatic analysis of head and facial gestures in video streams
Video görüntülerinden kafa ve yüz mimiklerinin otomatik analizi
- Tez No: 270484
- Danışmanlar: PROF. BÜLENT SANKUR
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2010
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 189
Özet
Video görüntülerinden kafa hareketlerinin ve yüz ifadelerinin otomatik analiziakıllı insan bilgisayar arayüzlerinde önemli uygulamaları olan zorlayıcı bir araştırmaalanıdır. Kafa hareketlerinin ve yüz ifadelerinin olduğu yüz sinyallerinden oluşan sössüzmesajların otomatik olarak sınıfandırılması önemli bir görevdir. Bu görev zorlayöcıdırçünkü sözsüz yüz sinyallerinden zihinsel durum geçişini sağlayacak bir sözlük ya dakod çizelgesi tanımlı değildir. Dahası, sözsüz yüz sinyallerinin oluşumu ve yorumlan-ması kişiye, topluma, o anki ruhsal duruma ve bulunulan ortama göre değişmektedir.Bu tez görsel bilgiye dayalı yüz ve kafa hareketleri analizcisi için gerekli olan başlıcaüç temel görevin çözümünü ele alır. İlk olarak tamamen otomatik, dayanıklı ve has-sas yüz görseline ve yüzün yapısal bilgisine dayalı çalışan on yedi yüz noktası bu-lan bir algoritma geliştirdik. İkinci olarak, eş zamanlı oluşan kafa hareketlerine veyüz ifadelerine dayanıklı çok basamaklı bir yüz nirengi noktası izleme algoritmasıgeliştirdik. Üçüncü olarak, izlenen nirengi noktalarına dayalı çıkarılan özniteliklerinzaman dizileri kullanılarak zihinsel durumun altında yatan yüz davranışlarının analiziele alındı. İki veri gösterimi kullanıldl, bunlar yüz nirengi noktası koordinat gezin-geleri ile ifade esnasında oluşan yüz imgesinin zamanuzamsal gelişiim verisidir. Bu yüzgösterimleri kullanılarak yüz ifadelerini tanımak için yeni ve bir çok kümeden oluşanöznitelikler çıkarılmıştır. Çıkarılan öznitelikler nirengi koordinatlarından oluşn za-man dizileri, yüz geometrik öznitelikleri veya yüzün anlatımsal bölgelerinden çıkarılangörüntü öznitelikleridir. Saklı Markov Modeller ve Saklı Şartlı Rastsal Alanlar gibi dizisınıfandırıcıları ile Bağımsız Bileşenler Analizi, Negatif Olmayan Matris ÇarpanlarınaAyırma ve Kesikli Kosinüs Dönüşümü gibi çeşitli alt-uzay izdüsşüm yöntemleri karşılaştırmaamaçlı kullanılmıştır. Önerilen algoritmalar pozlu ve doğal veritabanları üzerindebugüne kadar kaydedilen en iyi performans değerlerine sahiptir.
Özet (Çeviri)
Automatic analysis of head gestures and facial expressions is a challenging re-search area and it has significant applications for intelligent human-computer interfaces.An important task is the automatic classification of non-verbal messages composed offacial signals where both facial expressions and head rotations are observed. This is achallenging task, because there is no definite grammar or code-book for mapping thenon-verbal facial signals into a corresponding mental state. Furthermore, non-verbalfacial signals and the observed emotions have dependency on personality, society, stateof the mood and also the context in which they are displayed or observed. This thesismainly addresses the three desired tasks for an effective visual information based auto-matic face and head gesture (FHG) analyzer. First we develop a fully automatic, robustand accurate 17-point facial landmark localizer based on local appearance informationand structural information of landmarks. Second, we develop a multi-step facial land-mark tracker in order to handle simultaneous head rotations and facial expressions.Thirdly, we analyze the mental states underlying facial behaviors by utilizing timeseries of the extracted features. We consider two data representation types, namelyfacial landmark trajectories and spatiotemporal evolution data of the face image dur-ing an emotional expression. Novel and different sets of features are extracted fromthese face representations for the automatic facial expression recognition. Features canbe landmark coordinate time series, facial geometric features or appearance patcheson expressive regions of the face. We use comparatively, feature sequence classifiers:Hidden Markov Models and Hidden Conditional Random Fields, and feature subspacemethods: Independent Component Analysis, Non-negative Matrix Factorization andDiscrete Cosine Transform on the spatiotemporal data with modified nearest neighborclassifier. Proposed algorithms improves the state of the art performance results forboth posed and spontaneous databases.
Benzer Tezler
- Non-rigid registration-based data-driven 3D facial action unit detection
Üç boyutlu yüzlerde esnek kayıtlamaya dayalı veri-güdümlü eylem birimi saptama
ARMAN SAVRAN
Doktora
İngilizce
2011
Elektrik ve Elektronik MühendisliğiBoğaziçi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. BÜLENT SANKUR
- Facial expression recognition based on facial anatomy
Yüz anatomisine dayalı ifade tanıma
KRİSTİN SURPUHİ BENLİ
Doktora
İngilizce
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolIşık ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MUSTAFA TANER ESKİL
- Video based detection of driver fatigue
Görüntü aracılığıyla sürücüde yorgunluğun sezimi
ESRA VURAL
Doktora
İngilizce
2009
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı ÜniversitesiPROF. DR. AYTUL ERCİL
YRD. DOÇ. DR. MUJDAT CETİN
- Automatic bayesian segmentation of human facial tissue using 3D MR-CT fusion by incorporating models of measurement blurring, noise and partial volume
İnsan yüz dokularının bulanıklaşma, gürültü ve kismı hacim modelleri içeren bayesçi 3D MR-CT görüntü birleşmesi yöntemi kullanılarak otomatik bölütlenmesi
EMRE ŞENER
Doktora
İngilizce
2012
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiMühendislik Bilimleri Ana Bilim Dalı
DOÇ. DR. ERKAN MUMCUOĞLU
DOÇ. DR. UTKU KANOĞLU
- Francis turbine design and optimization by using CFD
HAD analizleri yardımı ile francis türbin tasarımı ve optimizasyonu
BERK CAN DUVA
Yüksek Lisans
İngilizce
2016
Enerjiİstanbul Teknik ÜniversitesiEnerji Bilim ve Teknoloji Ana Bilim Dalı
PROF. DR. HABİL METE ŞEN
PROF. DR. ERKAN AYDER