EEG ve yüz ifadelerine dayalı çok modlu duygu tanıma
Multimodal emotion recognition: emotion classification through the integration of EEG and facial expressions
- Tez No: 877090
- Danışmanlar: DOÇ. DR. FATMA PATLAR AKBULUT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: İstanbul Kültür Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Duygu tanıma alanındaki ilerlemelere rağmen, araştırma alanı hala iki temel sınırlamayla karşı karşıyadır: giderek daha karmaşık hesaplamalar yapmak için derin modellerin kullanımı ve çeşitli veri türlerinin bir karışımıyla duyguların tanımlanması. Bu çalışma, elektroensefalografi (EEG) sinyallerini yüz ifadeleriyle birleştirerek, Transformer, LSTM ve GRU gibi gelişmiş modelleri içeren multimodal duygu tanıma konusundaki bilgi birikimine katkıda bulunmaktadır. Sonuçlar, önerilen yaklaşımın etkinliğini doğrulamaktadır, çünkü GRU modelinin sırasıyla tek modlu (yalnızca EEG) ve çok modlu (EEG ve yüz ifadeleri) veri setlerinde %88 ve %97 gibi yüksek tahmin doğruluğu göstermektedir. Bulgular, geleneksel tek modlu tekniklerine kıyasla, çok modlu yaklaşımların dikkate değer ilerlemeler sağladığını göstermektedir. Çalışma, karmaşık sinirsel dinamikleri ve görünür duygusal ipuçlarını yakalayan, duygu tanıma sistemlerinin sağlamlığını ve doğruluğunu artıran bir çerçeve sunmaktadır. Bu sonuçlar, çeşitli veri kaynaklarını gelişmiş modellerle entegre ederek tek modlu sistemlerin yarattığı sınırlamanın nasıl aşılacağını göstermeleri açısından önemli pratik çıkarımlara sahiptir.
Özet (Çeviri)
Despite the advancements made in emotion recognition, the need for deep learning to carry out more complex calculations and identifying emotions across different modalities remain two major challenges. This study integrates facial expressions with electroencephalography (EEG) signals, adding to the body of knowledge on multimodal emotion recognition. An extensive analysis of the standalone EEG signals and EEG signals combined with facial expression data performance of emotion recognition models GRU, LSTM, and Transformer. The results show the efficacy of this method since they show the high accuracy of the GRU model with predictions of 88% and 97% on unimodal (EEG only) and multimodal (EEG and facial expressions) datasets, respectively. The results show that multimodal approaches produce significant improvements, unlike conventional unimodal methods. Using models including GRU, LSTM, and the Transformer, together with the complementary nature of EEG signals and facial expressions, the study offers a thorough framework that captures complex neural dynamics and visible emotional cues, enhancing the robustness and accuracy of emotion recognition systems. These results have important practical ramifications since they show how to get beyond the drawbacks of single-modality systems by combining different data sources with sophisticated models.
Benzer Tezler
- Emotion aware artificial intelligence for cognitive systems
Bilişsel sistemler için duygu farkındalıklı yapay zeka
DEĞER AYATA
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Korku duygusunun Emotiv Epoc tabanlı EEG kayıtlarıyla değerlendirilmesi
Evaluation of fear emotion with Emotiv Epoc based EEG signals
AHMET ERGUN GÜMÜŞ
Yüksek Lisans
Türkçe
2021
FizyolojiÜsküdar ÜniversitesiNörobilim Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ZOZAN GÜLEKEN
- Öz güven ve başarı ilişkisinin derinöğrenme teknikleri ile deneysel analizi
Investigating the relationship between self-confidence and success through deep learning techniques
BERKE DENİZ
Yüksek Lisans
Türkçe
2025
Mühendislik Bilimleriİstanbul Kültür ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. FATMA PATLAR AKBULUT
- Nöropazarlama perspektifinden reklam algısının çok boyutlu analizi: anket ve görüntü işleme yaklaşımı
Multidimensional analysis of advertising perception from a neuromarketing perspective: A survey and image processing approach
ASLI ÇAKICI
Yüksek Lisans
Türkçe
2025
Endüstri ve Endüstri MühendisliğiYalova ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. İBRAHİM SABUNCU
- Bilgisayar görmesi ile saat çizimlerinden dikkat eksikliği ve hiperaktivite bozukluğu tespiti
Detection of attention deficit hyperactivity disorder from clock drawings using computer vision
HOMAM W. ALNİDAWİ
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUHAMMED FATİH ADAK
DOÇ. DR. ENES SARIGEDİK