EEG ve göz izleme verilerini kullanarak makine öğrenmesi tabanlı çok modlu duygu tanıma
Machine learning-based multimodal emotion recognition using EEG and eye tracking data
- Tez No: 1016428
- Danışmanlar: DOÇ. DR. GÜZİN ÖZMEN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Selçuk Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Biyomedikal Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Biyomedikal Mühendisliği Ana Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Duygu tanıma sistemleri, çeşitli alanlarda kullanılan çok disiplinli bir araştırma konusudur. Bu sistemler, bireylerin duygusal durumlarını belirlemek amacıyla farklı kaynaklardan elde edilen fizyolojik sinyallerin analizine dayanmaktadır. Bu sinyallerden elektroensefalografi (EEG), beynin elektriksel aktivitesini doğrudan yansıtması nedeniyle duygu tanıma çalışmalarında yaygın olarak kullanılmaktadır. Bununla birlikte, son yıllarda yalnızca EEG verilerine dayalı yaklaşımlar yerine, gerçek yaşam koşullarında deney yapmayı mümkün kılması sebebiyle göz izleme (ET) verilerinin de dâhil edildiği çok modlu sistemlere yönelim artmıştır. Bu tez çalışmasında, kamuya açık SEED-IV veri seti kullanılarak EEG ve ET verilerine dayalı dört sınıflı duygu tanıma problemi ele alınmıştır. Çalışmada mutluluk, korku, üzüntü ve nötr duygu sınıflarının sınıflandırılması amacıyla hem tek modlu hem de çok modlu yaklaşımlar değerlendirilmiştir. Ham EEG verilerine veri artırma işlemleri uygulanmış ve bu verilerden elde edilen logaritmik spektrum özellikleri de sınıflandırma sürecine dâhil edilmiştir. Elde edilen bulgular veri artırımı uygulanmış EEG verilerinden elde edilen logaritmik spektrum temsillerinin tek modalite deneyleri içerisinde en yüksek başarıyı sağladığını göstermiştir. Bu kapsamda SimpleCNNEEG modeli, en iyi durumda 0.9506 test doğruluğu ve 0.9505 F1 skoru elde etmiştir. ET verileri için ise veri setinde sunulan istatistiksel özellikler kullanılmış ve SimpleCNNET modeli eğitilmiştir. ET verilerine dayalı bu model, en iyi durumda 0.6790 test doğruluğuna ve 0.6795 F1 skoruna ulaşmıştır. Ayrıca EEG ve ET modalitelerinin birlikte değerlendirildiği çapraz dikkat tabanlı bir füzyon mimarisi tasarlanmıştır. Bu yapıda, her iki modaliteden elde edilen özellik temsilleri bağımsız evrişimsel bloklar aracılığıyla çıkarılmış ve ardından çapraz dikkat mekanizması ile birleştirilmiştir. Füzyon modeli, on bağımsız tekrar sonucunda ortalama 0.7006 (±0.0252) test doğruluğu ve 0.6976 (±0.0250) F1 skoru elde etmiştir.
Özet (Çeviri)
Emotion recognition systems are a multidisciplinary research topic used in various fields. These systems are based on the analysis of physiological signals obtained from different sources to determine individuals' emotional states. Among these signals, electroencephalography (EEG) is widely used because it directly reflects the electrical activity of the brain. In recent years, however, there has been an increasing interest in multimodal systems that include eye tracking (ET) data, since ET allows experiments to be conducted under more realistic conditions. In this thesis, a four-class emotion recognition problem based on EEG and ET data was investigated using the publicly available SEED-IV dataset. Both unimodal and multimodal approaches were evaluated to classify happiness, fear, sadness, and neutral emotions. Data augmentation was applied to raw EEG data, and the logarithmic spectrum features obtained from these data were included in the classification process. The results showed that the logarithmic spectrum representations obtained from augmented EEG data achieved the highest performance among the unimodal experiments. In this context, the SimpleCNNEEG model achieved a test accuracy of 0.9506 and an F1 score of 0.9505 in the best case. For ET data, the statistical features provided in the dataset were used, and the SimpleCNNET model was trained. This ET-based model achieved a test accuracy of 0.6790 and an F1 score of 0.6795 in the best case. In addition, a cross-attention-based fusion architecture was designed to evaluate EEG and ET modalities together. In this architecture, feature representations from both modalities were extracted through independent convolutional blocks and then combined using a cross-attention mechanism. As a result of ten independent repetitions, the fusion model achieved an average test accuracy of 0.7006 (±0.0252) and an F1 score of 0.6976 (±0.0250).
Benzer Tezler
- Hybridization of probabilistic graphical models and metaheuristics for handling dynamism and uncertainty
Değişimin ve belirsizliğin ele alınması için olasılıksal çizgesel biçelerin ve sezgi-üstlerinin melezleştirilmesi
GÖNÜL ULUDAĞ
Doktora
İngilizce
2021
Nörolojiİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AYŞE ŞİMA UYAR
- Fog computing-based real-time emotion recognition using physiological signals
Fizyolojik sinyaller ile sis hesaplama tabanlı gerçek zamanlı duygu tanıma
ÖMÜR FATMANUR ERZURUMLUOĞLU
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKHAN İNCE
- Multi-channels deep convolution neural network for early classification of multivariate time series
Çok kanallı derin dönüşümerken sinir ağıçok değişkenli zaman sınıflandırmasıdiziler
AHMED MUAYAD QADER QADER
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiBilişim Teknolojileri Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. AYÇA KURNAZ TÜRKBEN
- Design of an emotion recognition system using machine learning for maritime operations: Development of a cognitive interface with psychophysiological data analysis
Denizcilik operasyonları için makine öğrenmesiyle duygu tanıma sistemi tasarımı: Psikofizyolojik veri analiziyle bir bilişsel arayüzün geliştirilmesi
ABBAS ALIPANAH KORDLAR
Yüksek Lisans
İngilizce
2024
Psikolojiİstanbul Teknik ÜniversitesiDenizcilik Çalışmaları Ana Bilim Dalı (disiplinlerarası)
PROF. DR. LEYLA TAVACIOĞLU
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Zihinsel iş yükünün EEG ve göz izleme verileri kullanılarak makine öğrenmesi teknikleriyle modellenmesi
Mental workload modeling by using machine learning techniques based on EEG and eye tracking data
ŞENİZ HARPUTLU AKSU
Doktora
Türkçe
2023
Endüstri ve Endüstri MühendisliğiGazi ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. ERMAN ÇAKIT