Facial analysis of dyadic interactions using multiple instance learning
İkili etkileşimlerde çoklu örnekle öğrenme kulllanılarak yüz incelemesi
- Tez No: 695682
- Danışmanlar: DR. ÖĞR. ÜYESİ HAMDİ DİBEKLİOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 71
Özet
Sözsüz davranışların yorumlanması, sosyal etkileşimlerin güvenilir şekilde incelenmesinde büyük önem taşımaktadır. Bu amaçla, literatürde ilk kez, romantik çiftlerin ikili etkileşimlerinde yüz ifadelerini otomatik olarak incelemekteyiz. Çalışmamızda, 167 çiftin bir anlaşmazlıklarını ve paylaştıkları olumlu bir deneyimi konuştukları videoları içeren, yakın zamanda toplanmış romantik ilişki veri kümesi kullanılmaktadır. Olumlu deneyim ve anlaşmazlıklar sırasındaki etkileşimleri ayırt etmek için, anomali tespiti literatüründen uyarlanmış, Derin Çoklu Örnekle Öğrenme (MIL) çatısı kullanılarak yüz ifadeleri modellenmektedir. Yüz davranışlarının zaman-uzamsal gösterimi, kısa video parçalarından üç boyutlu artık ağ aracılığıyla elde edilmekte ve MIL torbalarındaki örnek olarak kullanılmaktadır. Hedefimiz, kısa sürelerde gösterilen ayırt edici yüz özelliklerini ortaya çıkararak anlaşmazlıkları tespit edebilmektir. Bu amaçla, olumlu deneyim ve anlaşmazlık oturumlarındaki örneklerin gösterimleri, derin metrik öğrenme ile daha ayrılabilir olacak şekilde eniyilenmiştir. Ayrıca, daha güvenilir bir ikili etkileşim analizi için etkileşimdeki bireylerin yüz ifadeleri birlikte incelenmiştir. Deneylerimiz, yaklaşımımızın %71'lik bir başarıma ulaştığını göstermektedir. Birçok dayanak modelle karşılaştırmanın yanı sıra, aynı sınıflandırma problemi için altı katılımcıyla bir insan değerlendirme çalışması da gerçekleştirilmiştir. Yaklaşımımız, insanlardan %5 daha doğru tahminler sergilemekle birlikte tüm dayanak modellerden de iyi çalışmaktadır. Deneysel sonuçların önerdiği gibi, yüz davranışlarının güvenilir şekilde modellenmesi, ikili etkileşimlerin incelenmesine büyük bir katkıda bulunarak insanlardan daha iyi bir başarım sağlayabilmektedir.
Özet (Çeviri)
Interpretation of nonverbal behavior is vital for a reliable analysis of social interactions. To this end, we automatically analyze facial expressions of romantic couples during their dyadic interactions, for the first time in the literature. We use a recently collected romantic relationship dataset, including videos of 167 couples while talking on a conflicting case and a positive experience they share. To distinguish between interactions during positive experience and conflicting discussions, we model facial expressions employing a deep multiple instance learning (MIL) framework, adapted from the anomaly detection literature. Spatio-temporal representation of facial behavior is obtained from short video segments through a 3D residual network and used as the instances in MIL bag formations. The goal is to detect conflicting sessions by revealing distinctive facial cues that are displayed in short periods. To this end, instance representations of positive experience and conflict sessions are further optimized, so as to be more separable using deep metric learning. In addition, for a more reliable analysis of dyadic interaction, facial expressions of both subjects in the interaction are analyzed in a joint manner. Our experiments show that the proposed approach reaches an accuracy of 71\%. In addition to providing comparisons to several baseline models, we have also conducted a human evaluation study for the same task, employing 6 participants. The proposed approach performs 5\% more accurately than humans as well as outperforming all baseline models. As suggested by the experimental results, reliable modeling of facial behavior can greatly contribute to the analysis of dyadic interactions, yielding a better performance than that of humans.
Benzer Tezler
- Rolling the ball back: Topic maintenance in computer mediated English as a lingua franca interactions
Topu geri atma: Bilgisayar aracılı ortak dil olarak İngilizce kullanılan etkileşimlerde konu devamlılığı
BETÜL ÇİMENLİ
Yüksek Lisans
İngilizce
2017
Eğitim ve ÖğretimHacettepe ÜniversitesiYabancı Dil Olarak İngilizce Öğretimi Ana Bilim Dalı
YRD. DOÇ. DR. OLCAY SERT
- Smiles and affective alignment in naturally occurring dyadic academic supervisions
Doğal gelişen ikili akademik danışmanlık görüşmelerinde gülümsemeler ve duygusal uyuşma
BURAK SUNGURALP TEKİN
Yüksek Lisans
İngilizce
2013
DilbilimUniversity of Newcastle upon Tyneİnsan ve Toplum Bilimleri Ana Bilim Dalı
DR. DAWN KNIGHT
- İkili gruplara katılırken yapılan farklı yönetimler altında kişiler-arası etkileşim
Başlık çevirisi yok
DURSUN AKKURT
Yüksek Lisans
Türkçe
1989
PsikolojiHacettepe ÜniversitesiPsikoloji Ana Bilim Dalı
PROF. DR. SİREL KARAKAŞ
- Eşlerin duygu dışavurum tarzları ile algılanan evlilik kalitesinin ilişkisi ve duygusal farkındalığın rolü
Emotional awareness as a moderator of the relationship between spouse's emotional expression styles and marital quality
AYÇİN CİVAN
- Enabling dynamics in face analysis
Başlık çevirisi yok
HAMDİ DİBEKLİOĞLU
Doktora
İngilizce
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolUniversiteit van AmsterdamPROF. DR. THEO GEVERS
PROF. DR. A. W. M. SMEULDERS