Facial action unit detection in videos using deep neural networks
Video görüntülerinde derin sinir ağları tabanlı yüz eylem birimi tespiti
- Tez No: 516434
- Danışmanlar: PROF. DR. NAFİZ ARICA
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Yüz Eylem Birimi, Derin Öğrenme, Yüz İfade Analizi, Facial Action Unit Detection, Deep Neural Network, Facial Expression Analysis
- Yıl: 2018
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 85
Özet
Yüz ifadeleri, yüz kaslarının hareketlerini kategorize eden yüz eylem birimleri (AU) tarafından tanımlanmaktadır. Değişen çevre koşulları, farklı pozlanmış yüzler, ortamdaki aydınlatma ve AU karakteristiğindeki faklılıkların insandan insana değişmesi nedeniyle AU tespiti hala bilgisayar vizyonunda zorlu bir araştırma problemidir. Bu tezde, video verilerinde çerçeve, segment ve geçiş seviyesinde AU dedektörlerini birleştiren etkili bir derin öğrenme temelli yaklaşım geliştirilmektedir. Çerçeve seviyesinde, dizideki her bir çerçeve için AU varlığı veya yokluğu tespit edilir. Segment seviyesi detektörü, tüm çerçevelerinde AU'nun bulunduğu dizi segmentini bulmak için çeşitli uzunluklardaki tüm çerçeve dizilerini inceler. Geçiş seviyesi detektörü, sabit boyutlu dizileri analiz ederek nötr ve duygusal yüzler arasındaki geçişleri veya tersini bulmaya çalışır. Segment ve geçiş detektörlerindeki çerçeve dizileri, yüzlerdeki zamansal değişiklikleri modelleyen hareket geçmişi görüntüsü (MHI) ile temsil edilir. Her dedektör ayrı Konvolüsyel Sinir Ağı (CNN) kullanır ve daha sonra sonuçlar basamaklı ve istifleme olmak üzere iki farklı yaklaşım ile birleştirilir. Basamaklı olarak, çerçeve sınıflandırıcı sonuçları ağırlıklı destek vektör makinesi kullanılarak segment seviyesi sonuçları ile birleştirilir. Son sonuç, çerçevenin basamaklandırılmasıyla bulunur, geçiş sonucu lineer bir denklem ile elde edilir. Öte yandan, istifleme yaklaşımı, son aşamada bir meta sınıflandırıcı kullanan tüm sınıflandırıcıları bir araya getirmektedir. Bu aşamada, meta sınıflandırıcıda bir gizli katmanı olan bir sinir ağını kullanılmaktadır. Önerilen yaklaşım, yüz kaslarının hareketlerindeki küçük değişiklikleri izler ve ince AU'ları tanır. Performans analizinde, önerilen yaklaşımın CK + ve DISFA veritabanlarında karşılaştırıldığı zaman en son teknoloji yöntemlerden daha üstün olduğu gösterilmiştir.
Özet (Çeviri)
Automatic facial expressions are mainly described by the facial action units (AU), which categorize the movements of facial muscles. Due to changing environmental conditions, different posed faces, occlusions on the faces and variations in AU characteristics from person to person; AU detection is still a challenging research problem in computer vision. In this thesis, we develop an efficient deep learning based approach which combines frame, segment and transition level AU detectors in video data. In frame level, AU presence or absence is detected for each single frame in the sequence. Segment level detector examines all frame sequences with various lengths to locate the sequence segment where AU exists in all its frames. Transition level detector tries to find the transitions between neutral and emotional faces or vice versa by analyzing fixed size sequences. The frame sequences in segment and transition detectors are represented by motion history image (MHI), which models the temporal changes in faces. Each detector employs separate Convolutional Neural Network (CNN) and then their results are combined using two different approaches namely cascading and stacking. In cascading, frame classifier results are combined with segment level resulrs using weighted margin support vector machine. The final result is then found by cascadingthe frame, segment with transition result by a linear equation. On the other hand, stacking approach is combination all the classifiers using a meta classifier at the final stage. In this stage, we employ a neural network with one hidden layer in meta-classifier. The proposed approach tracks small changes in the movements of the facial muscles and recognizes subtle AUs. In performance analysis, it is shown that the proposed approach outperforms the state of the art methods when compared on CK+ and DISFA databases.
Benzer Tezler
- DA4HI: A deep learning framework for facial emotion recognition in affective systems for children with hearing impairments.
DA4HI: İşitme engelli çocuklar için duyuşsal sistemlerde yüzdeki duyguların tanınması maksadıyla geliştirilen derin öğrenme modeli.
CEMAL GÜRPINAR
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
PROF. DR. NAFİZ ARICA
- Transfer learning based facial emotion recognition and action unit detection
Transfer öğrenme tabanlı yüz ifadesinden duygu tanıma ve eylem birimi tespiti
SÜLEYMAN ENGİN BAĞLAYİCİ
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- Emotion recognition in children: Single and multimodal approaches with facial and physiological data
Çocuklarda duygu tanima: Yüz ve fizyolojik verilerle tekli ve çoklu modalite yaklaşimlari
ŞEYMA TAKIR
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- Video based detection of driver fatigue
Görüntü aracılığıyla sürücüde yorgunluğun sezimi
ESRA VURAL
Doktora
İngilizce
2009
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı ÜniversitesiPROF. DR. AYTUL ERCİL
YRD. DOÇ. DR. MUJDAT CETİN
- Non-rigid registration-based data-driven 3D facial action unit detection
Üç boyutlu yüzlerde esnek kayıtlamaya dayalı veri-güdümlü eylem birimi saptama
ARMAN SAVRAN
Doktora
İngilizce
2011
Elektrik ve Elektronik MühendisliğiBoğaziçi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. BÜLENT SANKUR