Continuous emotion recognition in dyadic interactions
İkili etkileşimde sürekli duygu tanıma
- Tez No: 632023
- Danışmanlar: DR. ENGİN ERZİN
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 97
Özet
İkili etkileşimlerin duygusal dinamiklerini anlamak, daha doğal insan-bilgisayar etkileşimi (İBE) sistemleri geliştirmek için çok önemlidir. Duygusal devinimler ve duygu durum bağlamı ikili etkileşimlerde önemli rol oynamaktadır. İkili etkileşimde bir katılımcının duygusal durumu, konuşma, kafa ve vücut hareketi, vokal aktiviteler ve konuşmanın sözel olmayan etkenleri gibi birçok iletişim kanalında modüle edilir. Yakın zamanlarda yapılan çalışmalar, duygu durum tanıma için etkileşim bağlamının kullanılmasının faydalı olabileceğini göstermiştir, ancak özellikle duygu bağlamının rolü ve katkısının araştırılması ve derin sinir ağları mimarilerine dahil edilmesi karmaşık ve açık bir problem olmaya devam etmektedir. Tez çalışmamız motivasyonu bu perspektiften alarak sürekli duygu tanıma (SDT) problemine bir çözüm için ikili etkileşimler sırasında duygusal etkileşimlerin kullanılmasını hedefleyen bir dizi çalışma içermektedir. İlk olarak, tek kişili SDT için konuşma ve beden hareket verilerine dayalı evrişimsel bir sinir ağı (CNN) mimarisi tanımladık. Daha sonra iki aşamalı bir kestirici ile ikili etkileşim için bir SDT sistemi tanımladık ve etkileşimdeki bir kişinin (çapraz-kişi) duygu durumunun diğer kişinin SDT başarımını artırmak için nasıl kullanılabileceğini araştırdık. Özellikle, SDT için çapraz-kişinin katkısını duygu durum ve öznitelik haritalarının kaynaşmasıyla sağladığımız iki CNN mimarisi önerdik. Bu çalışmaların devamında, ikili-etkileşim duygu bağlamını (İDB) tanımladık ve ikili-etkileşimde SDT için yeni bir Evrişimsel Uzun-Kısa Süreli Bellek (ConvLSTM) modeli önerdik. ConvLSTM modelimiz, konuşma ve beden hareketlerinde izgesel-zamansal ilintileri ve kişiler arası uzun vadeli duygu durum bağımlılıklarını yakalar. Çok kipli analiz modellerimizde İDB bilgisinin önerilen SDT yaklaşımlarına dahil edilmesinin USC CreativeIT veritabanında önemli başarım iyileştirmeleri sağladığını ve elde edilen sonuçların literatürdeki en son başarımlar uyumlu olduğunu göstermektedir.
Özet (Çeviri)
Understanding emotional dynamics of dyadic interactions is crucial for developing more natural human-computer interaction (HCI) systems. Emotional dependencies and affect context play important roles in dyadic interactions. The emotional state of a participant is modulated in many communication channels such as speech, head and body motion, vocal activity patterns as well as non-verbal vocalizations of speech during dyadic interactions. Recent studies have shown that affect recognition tasks can benefit by the incorporation of a particular interaction's context, however, particularly the investigation of the role and contribution of affect context and its incorporation into dyadic neural architectures remains a complex and open problem. Our work takes motivation from this perspective and therefore, in this thesis, a series of related studies targeting emotional dependencies during dyadic interactions are conducted to improve continuous emotion recognition (CER). Firstly, we define a convolutional neural network (CNN) architecture for single-subject CER based on speech and body motion data. We then introduce dyadic CER as a two-stage regression framework and explore ways in which cross-subject affect can be used to improve CER performance for a target subject. Specifically, we propose two dyadic CNN architectures where cross-subject contribution to the CER task is achieved by fusion of cross-subject affect and feature maps. As a conclusive work, we define dyadic affect context (DAC) and propose a new Convolutional LSTM (ConvLSTM) model that exploits it for dyadic CER. Our ConvLSTM model captures local spectro-temporal correlations in speech and body motion as well as the long-term affect inter-dependencies between subjects. Our multimodal analysis demonstrates that modelling and incorporation of the DAC in the proposed CER models provide significant performance improvements on the USC CreativeIT database and the achieved results compare favorably to the state-of-the-art
Benzer Tezler
- Stacked frequency-timeGRUs for continuous arousal recognition from musical audio
Müzikal ses verisi üzerinde sürekli uyarılma tanıması için yığın yapılı frekans-zaman GRU mimarisi
ASLIHAN ÇELİKER
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
PROF. DR. YÜCEL YEMEZ
PROF. DR. ENGİN ERZİN
- Erişkin DEHB'de yüz ve emosyon tanımanın normal kontrollere göre farklarının incelenmesi
The research of the differences of face and facial emotion recognition in adult attention deficit hyperactivity disorder (ADHD) compared to normal controls
ZEYNEP BARAN TATAR
Tıpta Uzmanlık
Türkçe
2012
Psikiyatriİstanbul ÜniversitesiPsikiyatri Ana Bilim Dalı
PROF. DR. İLHAN YARGIÇ
- Dikkat eksikliği hiperaktivite bozukluğu olan çocuklarda pragmatik dil, duygu tanıma ve zihin kuramı becerilerinin değerlendirilmesi
Evaluation of pragmatic language, emotion recognition and theory of mind skills in children and adolescents with attention deficit hyperactivity disorder
MERVE CANLI
Tıpta Uzmanlık
Türkçe
2018
PsikiyatriAnkara ÜniversitesiÇocuk Ruh Sağlığı ve Hastalıkları Ana Bilim Dalı
DR. ÖĞR. ÜYESİ PINAR URAN
- Psikotik belirtisi olan ve olmayan bipolar bozuklukhastalarının nörokognisyon ve nörogörüntülemeyönünden karşılaştırılması: şizofreni hastaları ilekontrollü bir çalışma
The comparison of neurocognition and neuroimaging in bipolar disorder patients with and without psychotic symptoms: A controlled study with schizophrenia patients
ECE ÖZLEM ÖZTÜRK
Tıpta Uzmanlık
Türkçe
2024
PsikiyatriManisa Celal Bayar ÜniversitesiPsikiyatri Ana Bilim Dalı
PROF. DR. ÖMER AYDEMİR
- Şizofreni hastalarında oksitosin, vazopressin ve atrial natriüretik peptit düzeylerinin bilişsel işlevlerle ilişkisi
The relationship between oxytocin, vasopressin and atrial natriuretic peptide levels with cognitive functions in schizophrenic patients
TUĞBA MUTU
Tıpta Uzmanlık
Türkçe
2018
PsikiyatriSakarya ÜniversitesiRuh Sağlığı ve Hastalıkları Ana Bilim Dalı
DOÇ. DR. ESRA YAZICI