Geri Dön

Non-rigid registration-based data-driven 3D facial action unit detection

Üç boyutlu yüzlerde esnek kayıtlamaya dayalı veri-güdümlü eylem birimi saptama

  1. Tez No: 297871
  2. Yazar: ARMAN SAVRAN
  3. Danışmanlar: PROF. DR. BÜLENT SANKUR
  4. Tez Türü: Doktora
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2011
  8. Dil: İngilizce
  9. Üniversite: Boğaziçi Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 190

Özet

Yüz ifadelerinin otomatik analizi, akıllı insan-bilgisayar arayüzleri ve insan yüz davranış araştırmaları gibi potansiyel uygulamalarından dolayı aktif bir calışma alanıdır. Otomatik ifade analizini daha ileri götürmek için bu tez şu iki hipotezi önermiş ve deneysel olarak kanıtlamıştır: (i) 3B yüz verisi geleneksel 2B kamera imgelerinden, sadece poz ve aydınlanma etkilerine karşı dayanıklılığıyla değil, aynı zamanda gerçek yüz yüzeyi bilgisini barındırdığı için de daha iyi bir veri kipidir. (ii) Detaylı yüz kayıtlamasını herhangi bir yüz modellemesi yardımı olmadan, yani veri-güdümlü olarak gerçekleştirmek, model-güdümlü analizin dezavantajları olmaksızın poz ve fizyonomi farklılıklarının bozucu etkileri telafi edildiğinden ve yüz öznitelikleri daha etkin olarak işlendiğinden, ifade analizinde gelinen en son noktayı ilerletmek için mümkündür. Bu çalışma, neredeyse bütün insan yüz ifadelerini betimleyebildiği varsayılan bir paradigma olduğundan ve sistematik karşılaştırmaları olanaklı kıldığından, Yüz Eylemi Kodlama Sistemi (FACS) temel alınarak yapılmıştır. FACS kodlamaları kas aktivasyonları ile yakından ilişkili eylem birimleri (AU) ile yapılır. İlk hipotez için, 3B yüz yüzeylerinin 2B'lu haritalarını kullanan kişiden-bağımsız AU saptayıcıları ve yoğunluk kestiricileri geliştirilmiştir. Bu yaklaşım, 2B'lu ışıklılık ve 3B'lu yüzey geometri veri kiplerini aynı algoritmalar altında karşılaştırmayı olanaklı kılar. Ayrıca, bu saptayıcı ve kestiriciler model-güdümlü yöntemlerdeki yanlılık olmadan iki kipin adil olarak değerlendirilmesini garanti ederler. İkinci hipotez için, önce, 2B yüz yüzeyi kıvrımlılık haritaları üzerinde esnek kayıtlama araştırılmıştır. Geliştirilen kayıtlama algoritması büyük deformasyonların üstesinden gelebildiği gibi işlemsel olarak da verimli çalışmaktadır. İkinci hipotezi gerçekleştirmek için bu algoritmayı kullanan AU saptayıcıları araştırılmış ve geliştirilmiştir. Önerilen yöntem, veri-güdümlü ifade analizinde detaylı kayıtlamanın yapıldığı ilk örnektir ve en güncel AU saptama yönteminden üstün gelmiştir.

Özet (Çeviri)

Automated analysis of facial expressions has been an active area of study due to its potential applications not only for intelligent human-computer interfaces but also for human facial behavior research. To advance automatic expression analysis, this thesis proposes and empirically proves two hypotheses: (i) 3D face data is a better data modality than conventional 2D camera images, not only for being much less disturbed by illumination and head pose effects but also for capturing true facial surface information. (ii) It is possible to perform detailed face registration without resorting to any face modeling. This means that data-driven methods in automatic expression analysis can compensate for the confounding effects like pose and physiognomy differences, and can process facial features more effectively, without suffering the drawbacks of model-driven analysis. Our study is based upon Facial Action Coding System (FACS) as this paradigm is widely accepted to be capable of describing practically all types of human facial expressions and enables their systematic evaluations. Coding with FACS is done with Action Units (AUs) that are closely related with muscular activations. To validate the first hypothesis we develop person-independent detectors and intensity estimators of AUs, which use 2D maps of 3D facial surfaces. This approach enables us to compare 2D luminance modality with the 3D surface geometry data modality under the same set of algorithms. In addition, our detectors and estimators are free from biases of model-driven techniques to guarantee a fair assessment of the two modalities. For the second hypothesis, we first investigate non-rigid registration on 2D facial surface curvature maps. Our non-rigid registration algorithm is capable of handling large deformations and yet it is computationally efficient. To realize our second hypothesis we explore and develop AU detectors using this algorithm. Our work is the first example of detailed registration in data-driven expression analysis and surpasses the performance of state-of-the-art AU detectors.

Benzer Tezler

  1. Total least squares matching of 3D surfaces

    3 boyutlu yüzeylerin toplam en küçük kareler yöntemi ile eşleştirilmesi

    UMUT AYDAR

    Doktora

    İngilizce

    İngilizce

    2014

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    Geomatik Mühendisliği Ana Bilim Dalı

    PROF. DR. MEHMET ORHAN ALTAN

  2. Exploring the conformational transition between closed and open states of the sars-CoV-2 spike glycoprotein using molecular dynamics simulations

    Sars-CoV-2 spike glikoproteininin kapalı ve açık halleri arasındaki konformasyonel geçişin moleküler dinamik simülasyonları kullanılarak araştırılması

    CEREN KILINÇ

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Biyokimyaİstanbul Teknik Üniversitesi

    Moleküler Biyoloji-Genetik ve Biyoteknoloji Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MERT GÜR

  3. Three dimensional face recognition

    Üç boyutlu yüz tanıma

    BERK GÖKBERK

    Doktora

    İngilizce

    İngilizce

    2006

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF.DR. LALE AKARUN

  4. Biologically motivated 3D face recognition

    Biyolojik tabanlı üç boyutlu yüz tanıma

    ALBERT ALİ SALAH

    Doktora

    İngilizce

    İngilizce

    2007

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF.DR. LALE AKARUN