Examining the role of eye movements in facial expression and emotional intensity recognition via machine learning
Başlık çevirisi mevcut değil.
- Tez No: 747201
- Danışmanlar: DR. ÖĞR. ÜYESİ FUNDA YILDIRIM
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Psikoloji, Computer Engineering and Computer Science and Control, Psychology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Yeditepe Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Bilişsel Bilim Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 93
Özet
Duygusal yüz ifadelerini tanıma ve sınıflandırma, insanların en gelişmiş yeteneklerinden biridir. Birçok çalışma, farklı yüz ifadeleri için tanıma süreçlerini ve inceleme stratejilerini araştırmıştır, ancak duygu türleri için belirli bir inceleme stratejisi üzerinde hala bir fikir birliğine varılamamıştır. Önceki çalışmaların çoğu, yüz ifadelerinin duygusal yoğunluğunun seviyesini de içermemektedir. Bu çalışmanın amacı, duygusal ifadeleri tanıma ve duygu yoğunluğu tanıma süreçlerinde hangi göz hareketi parametrelerinin önemli olduğunu araştırmaktır. Göz hareketleri yüz tarama stratejileri hakkında önemli ipuçları sağlar. Bu nedenle, 60 katılımcının göz hareketlerini ve göz takip verileriyle beslenmiş makine öğrenimi modellerini inceledik. Katılımcılara %0, %25, %50, %75 ve %100 duygu yoğunluğu ile nötr, şaşırmış, üzgün, mutlu ve korkulu yüz ifadeleri gösterildi. Katılımcıların yarısından duygu türünü sınıflandırmaları, diğer yarısından da duygunun yoğunluk derecesini derecelendirmeleri istenmiştir. Göz takip analizi için toplam odaklanma sayısı, göz bebeği boyutu ve ilgi alanlarındaki odaklanma sayısı (ilgi alanları: gözler, burun ve ağız) verileri toplandı. Sonuçlar, ifade yoğunluğu arttıkça yüz ifadelerindeki odaklanma sayısının azaldığını gösterdi. Katılımcıların görevden bağımsız olarak en çok göze ve en az ağıza odaklandıkları da bulundu. Tüm duygu türleri için yoğunluk tanıma görevleri sırasında gözlere ve buruna odaklanma sayıları arasında fark yoktu. Ancak duygu tanıma işlemi sırasında duygu türleri arasında göze, buruna ve ağza odaklanma sayısı farklılık gösterdi. Daha yüksek duygusal yoğunluk, ağız bölgesinde daha az odaklanma ile sonuçlandı. Göz bebeği boyutunun analizi, korkulu yüzlerin, duygu tanıma görevi sırasında diğer tüm ifadelere kıyasla daha büyük göz bebeği boyutuyla sonuçlandığını gösterdi. Ancak bu fark, yoğunluk tanıma görevinde belirgin değildi. Göz takip cihazından toplanan veriler, Rastgele Orman, Karar Ağacı ve k-En Yakın Komşular (k-NN) algoritmalarına beslenmiştir. Tüm modeller, hem duygu sınıflandırması hem de yoğunluk sınıflandırması için şans seviyesinin üzerinde bir doğruluk oranı elde etti. En yüksek doğruluk oranı Rastgele Orman yöntemi ile elde edilmiştir. Model, odaklanma noktası, odaklanma süresi ve göz bebeği boyutu ile beslendiğinde, duygu tanıma görevi için ortalama %85,8 ve yoğunluk tanıma görevi için ortalama %89,2 doğrulukla duygu türlerini sınıflandırabildi. Aynı parametrelerle yoğunluk tanıma görevi için duygu ve yoğunluk sınıflandırması benzer kaldı. Göz takip analizinde göz bebeği boyutu ve odaklanma sayıları için görevin, duygu türünün ve yoğunluk seviyesinin etkisi gözlemlendi. Ancak görev, modelin sınıflandırma performansını etkilemedi. Ayrıca, ifadelerin yoğunluk seviyesi veya bir yoğunluk seviyesinin duygu türü de makinenin performansını etkilemedi. Bu sonuçları, insanların değişen yoğunluk seviyelerinde duygusal ifadeleri okurken belirli inceleme stratejileri uyguladıkları şeklinde yorumladık. Mevcut çalışmanın sonuçları, olası uygulama alanları ile daha fazla tartışılmıştır.
Özet (Çeviri)
Recognition and classification of emotional face expressions is one of the most advanced abilities of humans. Many studies have investigated recognition processes and scanning strategies for different facial expressions but there is still no consensus on a particular scanning pattern for emotion types. Most of the previous studies also did not include the level of emotional intensity of facial expressions. The aim of this study is to investigate which eye movement parameters are important for emotional expression recognition and emotional intensity recognition processes. Eye movements provide important clues about face scanning strategies. Therefore, we examined the eye movements of 60 participants and fed machine learning models with eye tracking data. Neutral, surprised, sad, happy, and fearful facial expressions were presented to the participants with 0%, 25%, %50, %75, and %100 emotional intensity. Half of the participants were asked to classify the emotion type and half of them were asked to rate the intensity level of the emotion. Total number of fixations, pupil size and number of fixations on areas of interest (AOIs: eyes, nose and mouth) were collected for eye tracking analysis. Results showed that the fixation number on facial expressions decreased as the intensity of the expression increased. It was also found that participants fixated most to the eyes and least to the mouth regardless of the task. There was no difference between fixation numbers to eyes and nose during intensity recognition tasks for all emotion types. However, the fixation number towards the eye, nose and mouth differed between emotion types during the emotion recognition task. Higher emotional intensity resulted in less fixations in the mouth area. Analysis of pupillary response showed that fearful faces resulted in larger pupil size compared to all other expressions during the emotion recognition task but this difference was not evident during the intensity recognition task. Data collected from the eye tracking device has also been implemented in Random Forest (RF), Decision Tree and k-Nearest Neighbors (k-NN) models. All models achieved an accuracy rate at above chance level for both emotion classification and intensity classification. The highest accuracy rate was achieved with the RF method. The model was able to classify emotion types with an average accuracy of 85.8% for emotion recognition task and with an average accuracy of 89.2% for intensity recognition task when implemented with fixation point of gaze, fixation duration and pupil size. Emotion and intensity classification remained similar for the intensity recognition task with the same parameters. Effect of task, emotion type and intensity level were observed for pupil size and fixation numbers in the eye tracking analysis. However, the task did not affect the classification performance of the model. Also, intensity level of expressions or emotion type of an intensity level did not affect machine's performance as well. We interpreted these results as scanning strategies implemented by viewers while reading emotional expressions with different intensities. Results of the current study further discussed possible application areas.
Benzer Tezler
- Gerçeküstücü resmin yapılanmasında bilinçdışının rolü
Role of the unconscious at the formation of surreali̇sti̇c pai̇nti̇ng
İNAN TANJU BÜYÜKKAYA
- Mimari tasarımda çevreye uyum sorunları
Environmental adaptation problems in architectural design
MURAT TUNCA
- Ortaokul öğrencilerinin tam sayılarla toplama işleminde kullanılan temsiller üzerindeki göz hareketlerinin incelenmesi: Bir göz izleme çalışması
Investigation of eye movements of secondary school students on representations used in addition with integers: An eye tracking study
HİLMİ KARACA
Doktora
Türkçe
2023
Eğitim ve ÖğretimNecmettin Erbakan ÜniversitesiMatematik ve Fen Bilimleri Eğitimi Ana Bilim Dalı
PROF. DR. ERHAN ERTEKİN
PROF. DR. KÜRŞAT ÇAĞILTAY
- Türkiye'de kekemelik ile ilgili yapılmış olan çalışmaların sistematik olarak incelenmesi
A systematic review of studies on stuttering in Turkey
HADRA AKLAN
Yüksek Lisans
Türkçe
2023
DilbilimÜsküdar ÜniversitesiDil ve Konuşma Terapisi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MARAL YEŞİLYURT
- Şehir kimliği: Amasya örneği
Başlık çevirisi yok
TAYFUN ERTÜRK
Yüksek Lisans
Türkçe
1996
Şehircilik ve Bölge Planlamaİstanbul Teknik ÜniversitesiŞehir Planlama Ana Bilim Dalı
DOÇ. DR. MEHMET OCAKCI