Geri Dön

Facial action unit detection in videos using deep neural networks

Video görüntülerinde derin sinir ağları tabanlı yüz eylem birimi tespiti

  1. Tez No: 516434
  2. Yazar: SİMGE AKAY
  3. Danışmanlar: PROF. DR. NAFİZ ARICA
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Yüz Eylem Birimi, Derin Öğrenme, Yüz İfade Analizi, Facial Action Unit Detection, Deep Neural Network, Facial Expression Analysis
  7. Yıl: 2018
  8. Dil: İngilizce
  9. Üniversite: Bahçeşehir Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 85

Özet

Yüz ifadeleri, yüz kaslarının hareketlerini kategorize eden yüz eylem birimleri (AU) tarafından tanımlanmaktadır. Değişen çevre koşulları, farklı pozlanmış yüzler, ortamdaki aydınlatma ve AU karakteristiğindeki faklılıkların insandan insana değişmesi nedeniyle AU tespiti hala bilgisayar vizyonunda zorlu bir araştırma problemidir. Bu tezde, video verilerinde çerçeve, segment ve geçiş seviyesinde AU dedektörlerini birleştiren etkili bir derin öğrenme temelli yaklaşım geliştirilmektedir. Çerçeve seviyesinde, dizideki her bir çerçeve için AU varlığı veya yokluğu tespit edilir. Segment seviyesi detektörü, tüm çerçevelerinde AU'nun bulunduğu dizi segmentini bulmak için çeşitli uzunluklardaki tüm çerçeve dizilerini inceler. Geçiş seviyesi detektörü, sabit boyutlu dizileri analiz ederek nötr ve duygusal yüzler arasındaki geçişleri veya tersini bulmaya çalışır. Segment ve geçiş detektörlerindeki çerçeve dizileri, yüzlerdeki zamansal değişiklikleri modelleyen hareket geçmişi görüntüsü (MHI) ile temsil edilir. Her dedektör ayrı Konvolüsyel Sinir Ağı (CNN) kullanır ve daha sonra sonuçlar basamaklı ve istifleme olmak üzere iki farklı yaklaşım ile birleştirilir. Basamaklı olarak, çerçeve sınıflandırıcı sonuçları ağırlıklı destek vektör makinesi kullanılarak segment seviyesi sonuçları ile birleştirilir. Son sonuç, çerçevenin basamaklandırılmasıyla bulunur, geçiş sonucu lineer bir denklem ile elde edilir. Öte yandan, istifleme yaklaşımı, son aşamada bir meta sınıflandırıcı kullanan tüm sınıflandırıcıları bir araya getirmektedir. Bu aşamada, meta sınıflandırıcıda bir gizli katmanı olan bir sinir ağını kullanılmaktadır. Önerilen yaklaşım, yüz kaslarının hareketlerindeki küçük değişiklikleri izler ve ince AU'ları tanır. Performans analizinde, önerilen yaklaşımın CK + ve DISFA veritabanlarında karşılaştırıldığı zaman en son teknoloji yöntemlerden daha üstün olduğu gösterilmiştir.

Özet (Çeviri)

Automatic facial expressions are mainly described by the facial action units (AU), which categorize the movements of facial muscles. Due to changing environmental conditions, different posed faces, occlusions on the faces and variations in AU characteristics from person to person; AU detection is still a challenging research problem in computer vision. In this thesis, we develop an efficient deep learning based approach which combines frame, segment and transition level AU detectors in video data. In frame level, AU presence or absence is detected for each single frame in the sequence. Segment level detector examines all frame sequences with various lengths to locate the sequence segment where AU exists in all its frames. Transition level detector tries to find the transitions between neutral and emotional faces or vice versa by analyzing fixed size sequences. The frame sequences in segment and transition detectors are represented by motion history image (MHI), which models the temporal changes in faces. Each detector employs separate Convolutional Neural Network (CNN) and then their results are combined using two different approaches namely cascading and stacking. In cascading, frame classifier results are combined with segment level resulrs using weighted margin support vector machine. The final result is then found by cascadingthe frame, segment with transition result by a linear equation. On the other hand, stacking approach is combination all the classifiers using a meta classifier at the final stage. In this stage, we employ a neural network with one hidden layer in meta-classifier. The proposed approach tracks small changes in the movements of the facial muscles and recognizes subtle AUs. In performance analysis, it is shown that the proposed approach outperforms the state of the art methods when compared on CK+ and DISFA databases.

Benzer Tezler

  1. DA4HI: A deep learning framework for facial emotion recognition in affective systems for children with hearing impairments.

    DA4HI: İşitme engelli çocuklar için duyuşsal sistemlerde yüzdeki duyguların tanınması maksadıyla geliştirilen derin öğrenme modeli.

    CEMAL GÜRPINAR

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. HATİCE KÖSE

    PROF. DR. NAFİZ ARICA

  2. Transfer learning based facial emotion recognition and action unit detection

    Transfer öğrenme tabanlı yüz ifadesinden duygu tanıma ve eylem birimi tespiti

    SÜLEYMAN ENGİN BAĞLAYİCİ

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. HATİCE KÖSE

  3. Emotion recognition in children: Single and multimodal approaches with facial and physiological data

    Çocuklarda duygu tanima: Yüz ve fizyolojik verilerle tekli ve çoklu modalite yaklaşimlari

    ŞEYMA TAKIR

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. HATİCE KÖSE

  4. Video based detection of driver fatigue

    Görüntü aracılığıyla sürücüde yorgunluğun sezimi

    ESRA VURAL

    Doktora

    İngilizce

    İngilizce

    2009

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı Üniversitesi

    PROF. DR. AYTUL ERCİL

    YRD. DOÇ. DR. MUJDAT CETİN

  5. Non-rigid registration-based data-driven 3D facial action unit detection

    Üç boyutlu yüzlerde esnek kayıtlamaya dayalı veri-güdümlü eylem birimi saptama

    ARMAN SAVRAN

    Doktora

    İngilizce

    İngilizce

    2011

    Elektrik ve Elektronik MühendisliğiBoğaziçi Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. BÜLENT SANKUR