Non-rigid registration-based data-driven 3D facial action unit detection
Üç boyutlu yüzlerde esnek kayıtlamaya dayalı veri-güdümlü eylem birimi saptama
- Tez No: 297871
- Danışmanlar: PROF. DR. BÜLENT SANKUR
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2011
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 190
Özet
Yüz ifadelerinin otomatik analizi, akıllı insan-bilgisayar arayüzleri ve insan yüz davranış araştırmaları gibi potansiyel uygulamalarından dolayı aktif bir calışma alanıdır. Otomatik ifade analizini daha ileri götürmek için bu tez şu iki hipotezi önermiş ve deneysel olarak kanıtlamıştır: (i) 3B yüz verisi geleneksel 2B kamera imgelerinden, sadece poz ve aydınlanma etkilerine karşı dayanıklılığıyla değil, aynı zamanda gerçek yüz yüzeyi bilgisini barındırdığı için de daha iyi bir veri kipidir. (ii) Detaylı yüz kayıtlamasını herhangi bir yüz modellemesi yardımı olmadan, yani veri-güdümlü olarak gerçekleştirmek, model-güdümlü analizin dezavantajları olmaksızın poz ve fizyonomi farklılıklarının bozucu etkileri telafi edildiğinden ve yüz öznitelikleri daha etkin olarak işlendiğinden, ifade analizinde gelinen en son noktayı ilerletmek için mümkündür. Bu çalışma, neredeyse bütün insan yüz ifadelerini betimleyebildiği varsayılan bir paradigma olduğundan ve sistematik karşılaştırmaları olanaklı kıldığından, Yüz Eylemi Kodlama Sistemi (FACS) temel alınarak yapılmıştır. FACS kodlamaları kas aktivasyonları ile yakından ilişkili eylem birimleri (AU) ile yapılır. İlk hipotez için, 3B yüz yüzeylerinin 2B'lu haritalarını kullanan kişiden-bağımsız AU saptayıcıları ve yoğunluk kestiricileri geliştirilmiştir. Bu yaklaşım, 2B'lu ışıklılık ve 3B'lu yüzey geometri veri kiplerini aynı algoritmalar altında karşılaştırmayı olanaklı kılar. Ayrıca, bu saptayıcı ve kestiriciler model-güdümlü yöntemlerdeki yanlılık olmadan iki kipin adil olarak değerlendirilmesini garanti ederler. İkinci hipotez için, önce, 2B yüz yüzeyi kıvrımlılık haritaları üzerinde esnek kayıtlama araştırılmıştır. Geliştirilen kayıtlama algoritması büyük deformasyonların üstesinden gelebildiği gibi işlemsel olarak da verimli çalışmaktadır. İkinci hipotezi gerçekleştirmek için bu algoritmayı kullanan AU saptayıcıları araştırılmış ve geliştirilmiştir. Önerilen yöntem, veri-güdümlü ifade analizinde detaylı kayıtlamanın yapıldığı ilk örnektir ve en güncel AU saptama yönteminden üstün gelmiştir.
Özet (Çeviri)
Automated analysis of facial expressions has been an active area of study due to its potential applications not only for intelligent human-computer interfaces but also for human facial behavior research. To advance automatic expression analysis, this thesis proposes and empirically proves two hypotheses: (i) 3D face data is a better data modality than conventional 2D camera images, not only for being much less disturbed by illumination and head pose effects but also for capturing true facial surface information. (ii) It is possible to perform detailed face registration without resorting to any face modeling. This means that data-driven methods in automatic expression analysis can compensate for the confounding effects like pose and physiognomy differences, and can process facial features more effectively, without suffering the drawbacks of model-driven analysis. Our study is based upon Facial Action Coding System (FACS) as this paradigm is widely accepted to be capable of describing practically all types of human facial expressions and enables their systematic evaluations. Coding with FACS is done with Action Units (AUs) that are closely related with muscular activations. To validate the first hypothesis we develop person-independent detectors and intensity estimators of AUs, which use 2D maps of 3D facial surfaces. This approach enables us to compare 2D luminance modality with the 3D surface geometry data modality under the same set of algorithms. In addition, our detectors and estimators are free from biases of model-driven techniques to guarantee a fair assessment of the two modalities. For the second hypothesis, we first investigate non-rigid registration on 2D facial surface curvature maps. Our non-rigid registration algorithm is capable of handling large deformations and yet it is computationally efficient. To realize our second hypothesis we explore and develop AU detectors using this algorithm. Our work is the first example of detailed registration in data-driven expression analysis and surpasses the performance of state-of-the-art AU detectors.
Benzer Tezler
- Total least squares matching of 3D surfaces
3 boyutlu yüzeylerin toplam en küçük kareler yöntemi ile eşleştirilmesi
UMUT AYDAR
Doktora
İngilizce
2014
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET ORHAN ALTAN
- Exploring the conformational transition between closed and open states of the sars-CoV-2 spike glycoprotein using molecular dynamics simulations
Sars-CoV-2 spike glikoproteininin kapalı ve açık halleri arasındaki konformasyonel geçişin moleküler dinamik simülasyonları kullanılarak araştırılması
CEREN KILINÇ
Yüksek Lisans
İngilizce
2020
Biyokimyaİstanbul Teknik ÜniversitesiMoleküler Biyoloji-Genetik ve Biyoteknoloji Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MERT GÜR
- Three dimensional face recognition
Üç boyutlu yüz tanıma
BERK GÖKBERK
Doktora
İngilizce
2006
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF.DR. LALE AKARUN
- Biologically motivated 3D face recognition
Biyolojik tabanlı üç boyutlu yüz tanıma
ALBERT ALİ SALAH
Doktora
İngilizce
2007
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF.DR. LALE AKARUN
- Automated detection of new multiple sclerosis lesions in longitudinal magnetic resonance imaging
Başlık çevirisi yok
ONUR GANİLER