EEG ve yüz ifadelerine dayalı çok modlu duygu tanıma
Multimodal emotion recognition: emotion classification through the integration of EEG and facial expressions
- Tez No: 877090
- Danışmanlar: DOÇ. DR. FATMA PATLAR AKBULUT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: İstanbul Kültür Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 94
Özet
Duygu tanıma alanındaki ilerlemelere rağmen, araştırma alanı hala iki temel sınırlamayla karşı karşıyadır: giderek daha karmaşık hesaplamalar yapmak için derin modellerin kullanımı ve çeşitli veri türlerinin bir karışımıyla duyguların tanımlanması. Bu çalışma, elektroensefalografi (EEG) sinyallerini yüz ifadeleriyle birleştirerek, Transformer, LSTM ve GRU gibi gelişmiş modelleri içeren multimodal duygu tanıma konusundaki bilgi birikimine katkıda bulunmaktadır. Sonuçlar, önerilen yaklaşımın etkinliğini doğrulamaktadır, çünkü GRU modelinin sırasıyla tek modlu (yalnızca EEG) ve çok modlu (EEG ve yüz ifadeleri) veri setlerinde %88 ve %97 gibi yüksek tahmin doğruluğu göstermektedir. Bulgular, geleneksel tek modlu tekniklerine kıyasla, çok modlu yaklaşımların dikkate değer ilerlemeler sağladığını göstermektedir. Çalışma, karmaşık sinirsel dinamikleri ve görünür duygusal ipuçlarını yakalayan, duygu tanıma sistemlerinin sağlamlığını ve doğruluğunu artıran bir çerçeve sunmaktadır. Bu sonuçlar, çeşitli veri kaynaklarını gelişmiş modellerle entegre ederek tek modlu sistemlerin yarattığı sınırlamanın nasıl aşılacağını göstermeleri açısından önemli pratik çıkarımlara sahiptir.
Özet (Çeviri)
Despite the advancements made in emotion recognition, the need for deep learning to carry out more complex calculations and identifying emotions across different modalities remain two major challenges. This study integrates facial expressions with electroencephalography (EEG) signals, adding to the body of knowledge on multimodal emotion recognition. An extensive analysis of the standalone EEG signals and EEG signals combined with facial expression data performance of emotion recognition models GRU, LSTM, and Transformer. The results show the efficacy of this method since they show the high accuracy of the GRU model with predictions of 88% and 97% on unimodal (EEG only) and multimodal (EEG and facial expressions) datasets, respectively. The results show that multimodal approaches produce significant improvements, unlike conventional unimodal methods. Using models including GRU, LSTM, and the Transformer, together with the complementary nature of EEG signals and facial expressions, the study offers a thorough framework that captures complex neural dynamics and visible emotional cues, enhancing the robustness and accuracy of emotion recognition systems. These results have important practical ramifications since they show how to get beyond the drawbacks of single-modality systems by combining different data sources with sophisticated models.
Benzer Tezler
- Emotion aware artificial intelligence for cognitive systems
Bilişsel sistemler için duygu farkındalıklı yapay zeka
DEĞER AYATA
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Korku duygusunun Emotiv Epoc tabanlı EEG kayıtlarıyla değerlendirilmesi
Evaluation of fear emotion with Emotiv Epoc based EEG signals
AHMET ERGUN GÜMÜŞ
Yüksek Lisans
Türkçe
2021
FizyolojiÜsküdar ÜniversitesiNörobilim Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ZOZAN GÜLEKEN
- Yaşlanmada ve nörodejenerasyonda işlevsel bağlantısallığın, emosyonel yüz ifadeleri uyaranı ve EEG olaya-ilişkin koherans yöntemi ile incelenmesi
Investigation of functional connectivity in aging and neurodegeneration by emotional face stimuli and EEG event-related coherence
SAMET HAKAN UZUNLAR
Yüksek Lisans
Türkçe
2022
Biyofizikİstanbul Medipol ÜniversitesiSinir Bilimi Ana Bilim Dalı
PROF. DR. BAHAR GÜNTEKİN
- Duygusal yüz ifadelerine ilişkin bilinçdışı hazırlamanın duygu ifadelerini tanıma süreçleri üzerindeki etkisi
The effect of unconscious priming on emotional facial expression processing
SENEM ÖREN
Yüksek Lisans
Türkçe
2022
PsikolojiAkdeniz ÜniversitesiPsikoloji Ana Bilim Dalı
DOÇ. DR. EVRİM GÜLBETEKİN
- Sağlıklı erişkinlerde uygulanan tDCS'in duygu tanıma ve EEG osilasyonlarına etkisi
The effect of tdcs on emotion recognition and EEG oscillations in healthy adults
SALİHA ŞAHİNTÜRK
Yüksek Lisans
Türkçe
2023
Nörolojiİstanbul Medipol ÜniversitesiBilişsel Rehabilitasyon Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EROL YILDIRIM