EEG sinyalleri ve yüz ifadeleri kullanılarak farklı uyaran tiplerine göre duygu analizi ve sınıflandırma
Emotion analysis and classification for various types of stimuli using EEG signals and facial expressions
- Tez No: 446541
- Danışmanlar: DOÇ. DR. SERDAR YILDIRIM
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2016
- Dil: Türkçe
- Üniversite: Mustafa Kemal Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Enformatik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 94
Özet
Kişiler arası iletişimde, sizinle iletişim halindeki bir kişinin belirli duygularını anlamak kolay olsa da, kişilerin duygusal durumunun insan-makine arayüzleri için otomatik olarak algılanması zor bir işlemdir. Videodan ve konuşmadan duygu algılama 90'ların ortalarından beri çok iyi çalışılan konulardandır. Son zamanlarda ise kişi tarafından kontrol edilmesi çok zor olan fizyolojik sinyaller de duygu tanıma çalışmalarında kullanılmaya başlamıştır. Bu tez çalışmasında, EEG sinyalleri ve yüz ifadeleri kullanılarak farklı uyaran tipleri için duygu analizi ve sınıflandırma çalışması yapılmıştır. Çalışmaları gerçekleştirmek için, duygusal EEG ve yüz ifadeleri içeren veritabanı tez kapsamında oluşturulmuştur. Veritabanı oluşturulurken, farklı uyaran tipleri kullanılarak hedeflenen duygu durumları tetiklenmiştir. Farklı uyaran tipleri için pozitif ve negatif duygular sırasındaki beyin bölgeleri arasında oluşan etkileşim alfa, beta ve gama bantlarında faz kilitleme değeri kullanılarak incelenmiştir. Negatif ve pozitif duygular için sağ yarıkürede özellikle frontal bölgede önemli farklılıklar ortaya çıktığı görülmektedir. Sonuçların aynı zamanda, farklı uyaran tiplerinin negatif ve pozitif duygular için alfa, beta ve gama bantlarında önemli farklılıklar gösterdiğini ortaya koymuştur. EEG sinyallerinden dalgacık dönüşümü kullanılarak, pozitif/negatif duygu durumu sınıflandırmasında, ses ve görüntü bilgisinin birlikte kullanılmasının daha etkili olduğunu gösterilmiş ve %81.6 başarım oranı elde edilmiştir. Aktivasyon boyutunda yapılan sınıflandırmada, ses bilgisinin sakinlikten heyecanlıya olan ayırımda görüntü bilgisinden daha etkin olduğu gözlenmiş ve hem ses hem de ses+görüntü uyaranları kullanıldığında %73.7 doğru pozitif oranı elde edilmiştir. Değerlik-aktivasyon uzayında dört sınıflı sınıflandırma performansları da araştırılmıştır. En iyi sonuçlar, EEG'den elde edilen öznitelikler ile yüz ifadelerinden elde edilen özniteliklerin öznitelik seviyesinde birleştirilmesiyle elde edilmiştir.
Özet (Çeviri)
Understanding if the person you are communicating with is experiencing a particular emotion is easy most of the times during interpersonal communication. However, automatically detecting the emotional state of a person is a challenging task of human-computer interface. Emotion detection from speech and video is a very well studied topic since mid 90s. Recently, physiological signals which are hard, if not impossible, to trigger or control have gained attention for emotion recognition. In this thesis, emotion analysis and classification for various types of stimuli using EEG signals and facial expressions are performed. For this purpose, an emotional EEG and facial expression database is constructed. In the database, three stimuli types are used for emotion elicitation. The brain networks during positive and negative emotions for different types of stimulus (audio only, video only and audio+video) in alpha, beta, and gamma bands are investigated in terms of phase locking value. Results show significant differences for negative and positive emotions in right hemisphere mainly in frontal region in terms of phase locking values. Results in terms of different stimulus types also show significant differences for negative and positive emotions in alpha, beta, and gamma bands. Positive/negative emotional states are classified from EEG signals using wavelet decomposition. Better classification rates are obtained when audio+video is used as stimulus resulting in a classification rate of 81.6%. For activation dimension, similar classification rates are obtained for audio only and audio+video stimuli resulting in a classification rate of 73.7%. Classification performances for four class classification in valence-activation space are also presented. Better performances are obtained for feature level fusion of features extracted from EEG and extracted from facial expressions.
Benzer Tezler
- Emotion aware artificial intelligence for cognitive systems
Bilişsel sistemler için duygu farkındalıklı yapay zeka
DEĞER AYATA
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Fuzzy cognitive maps for emotion modeling
Bulanık bilişsel haritalar yardımıyla insan duygularının modellenmesi
HASAN MURAT AKINCI
Yüksek Lisans
İngilizce
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ENGİN YEŞİL
- EEG işaretlerinden duygu kestirimi
Emotion estimation from EEG signals
SÜHEYLA SİNEM UZUN
Yüksek Lisans
Türkçe
2012
BiyomühendislikMustafa Kemal ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. SERDAR YILDIRIM
- Yüz nakil olgularında emosyonel ifadelerin EEG tabanlı analizi
EEG-based analysis of emotional expressions in face transplant cases
İNCİ BİLGE
Doktora
Türkçe
2024
Elektrik ve Elektronik MühendisliğiAkdeniz ÜniversitesiElektrik-Elektronik Ana Bilim Dalı
PROF. DR. ÖMER HALİL ÇOLAK
- Duygusal yüz ifadelerine ilişkin bilinçdışı hazırlamanın duygu ifadelerini tanıma süreçleri üzerindeki etkisi
The effect of unconscious priming on emotional facial expression processing
SENEM ÖREN
Yüksek Lisans
Türkçe
2022
PsikolojiAkdeniz ÜniversitesiPsikoloji Ana Bilim Dalı
DOÇ. DR. EVRİM GÜLBETEKİN