Multi-channel EEG-based emotion classification using deep neural networks
Derin sinir ağları kullanarak çok kanallı EEG tabanlı duygu sınıflandırması
- Tez No: 703109
- Danışmanlar: DR. ÖĞR. ÜYESİ ONAN GÜREN
- Tez Türü: Yüksek Lisans
- Konular: Bilim ve Teknoloji, Mühendislik Bilimleri, Science and Technology, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: İzmir Katip Çelebi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Biyomedikal Teknolojiler Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 108
Özet
Duygular, belirli bir nesnenin, olayın veya anın bir kişinin iç dünyasında yarattığı izlenimlerdir. Duygular hayatımızın önemli bir parçasıdır. Bu çalışmanın amacı, çok değişkenli senkrosıkıştırma dönüşümüne dayalı olarak görsel ve işitsel uyaranları kullanarak çok kanallı EEG sinyallerinden duyguları sınıflandırmaktır. Bu çalışmada 13 kadın ve 12 erkekten EEG sinyalleri alınmıştır. Grafik kullanıcı arayüzü (GUI), belirli zaman aralıklarında görsel ve işitsel uyaranları görüntülemek için tasarlanmıştır. Uluslararası Afektif Görüntü Sisteminden (IAPS) seçilen 48 resim ve aynı özelliklerde seçilen 12 resimden oluşan 60 görsel uyaran kullanılmıştır. Ayrıca Uluslararası Duyuşsal Sayısallaştırılmış Sesler Sisteminden (IADS) seçilen 48 ses ve aynı özelliklerde seçilen 12 sesten oluşan 60 işitsel uyaran uyaran kullanılmıştır. EEG sinyalleri elde edildikten sonra ön işleme yapılır ve uyaranların gösterildiği zaman aralıklarını elde etmek için uzun sinyaller segmentlere ayrılır. Çok değişkenli senkrosıkıştırma dönüşümü yöntemi ile 32 kanal eş zamanlı olarak işlenmiştir. Daha sonra elde edilen 2 boyutlu görüntüler derin öğrenme mimarisine girdi olarak verilmiştir. Bu çalışmada en bilinen evrişimli sinir ağı mimarilerinden AlexNet, VGG-19, GoogLeNet, ResNet-50 ve Inception-v3 mimarileri kullanılmıştır. En iyi AlexNet çıkmıştır ve bu nedenle diğer sınıflandırma senaryoları AlexNet üzerinden yürütüldü. Bu çalışmada önerilen modellerin sağlamlığını değerlendirmek için k-katlamalı çapraz doğrulama uygulanmış ve k değeri 3 olarak seçilmiştir. Uyarılma, valence ve baskınlıkta Kat-1, Kat-2, Kat-3 ve ortalama kat için performans ölçümleri yapılmıştır. AlexNet mimarisini görsel uyarılmada eğiterek, %71,60 ortalama doğruluk değerine, işitsel uyarılmada ise %70,58 ortalama doğruluk değerine ulaşılmıştır. Görsel değerlik için ortalama doğruluk değeri %67.93 iken işitsel değerlik için ortalama doğruluk değeri %70.58 idi. Görsel baskınlık için ortalama doğruluk değeri %65,40 iken, işitsel baskınlık için ortalama doğruluk değeri %72,60 olarak bulunmuştur. Sonuçlar, önerilen yöntemin duyguları sınıflandırmak için umut verici bir performans gösterdiğini kanıtlamıştır. Önerilen yöntem, hesaplama maliyetini azaltmış ve sınıflandırma performansını önemli ölçüde iyileştirmiştir.
Özet (Çeviri)
Emotions are the impressions that a particular object, event or moment creates in the inner world of a person. Emotions are an important part of our lives. The aim of this study is to classify emotions from multi-channel EEG signals using visual and auditory stimuli based on multivariate synchrosqueezing transform. In this study, EEG signals were obtained from 13 women and 12 men. The graphical user interface (GUI) is designed to display visual and auditory stimuli at specific time intervals. The 60 visual stimuli consisting of 48 images selected from the International Affective Image System (IAPS) and 12 images selected with the same characteristics were used. In addition, 60 auditory stimuli consisting of 48 voices selected from the International Affective Digitized Sounds System (IADS) and 12 voices selected with the same characteristics were used. Preprocessing is done after the EEG signals are obtained and long signals are segmented to obtain the time intervals in which the stimuli are shown. With the multivariate synchrosqueezing transform method, 32 channels were processed simultaneously. Then the 2D images obtained were given as input to the deep learning architecture. In this study, AlexNet, VGG-19, GoogLeNet, ResNet-50 and Inception-v3 architectures were used, which are among the most known convolutional neural network architectures. The best AlexNet came out and therefore other classification scenarios were executed over AlexNet. The k-fold cross validation was adopted to evaluate the robustness of the models proposed in this study and the k value was chosen as 3. Performance measurements were made for Fold-1, Fold-2, Fold-3, and average fold in valence, arousal and dominance. By training the AlexNet architecture in visual arousal, an average accuracy value of 71.60% was reached, while an average accuracy value of 70.58% was achieved in auditory arousal. The average accuracy value for visual valence was 67.93%, while the average accuracy value for auditory valence was 70.58%. While the average accuracy value for visual dominance was 65.40%, the average accuracy value was 72.60% for auditory dominance. The results demonstrated that the proposed method achieved promising performance to classify the emotions. The proposed method reduced the computational cost, and significantly improved the classification performance.
Benzer Tezler
- Estimation of emotional situation using EEG signals and machine learning methods
EEG sinyalleri ve makine öğrenme yöntemlerini kullanılarak duygusal durum kestirimi
BARTU YEŞİLKAYA
Yüksek Lisans
İngilizce
2020
Biyoteknolojiİzmir Katip Çelebi ÜniversitesiBiyomedikal Teknolojiler Ana Bilim Dalı
PROF. DR. AYDIN AKAN
- EEG data classification using multilinear regression model
Çoklu doğrusal regresyon modeli kullanarak EEG verilerinin sınıflandırılması
AYŞE AKGÜN DEMİR
Yüksek Lisans
İngilizce
2019
BiyoistatistikBoğaziçi ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET ADEMOĞLU
- Derin sinir ağları ile EEG ve alın EOG tabanlı duygu analizi
EEG and forehead EOG based emotion analysis with deep neural networks
HÜSEYİN ÇİZMECİ
Doktora
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ CANER ÖZCAN
- Korku duygusunun Emotiv Epoc tabanlı EEG kayıtlarıyla değerlendirilmesi
Evaluation of fear emotion with Emotiv Epoc based EEG signals
AHMET ERGUN GÜMÜŞ
Yüksek Lisans
Türkçe
2021
FizyolojiÜsküdar ÜniversitesiNörobilim Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ZOZAN GÜLEKEN
- EEG sinyallerinin görgül kip ayrışım yöntemi ile analizi
Analysis of EEG signals using empirical mode decomposition
AHMET MERT
Doktora
Türkçe
2015
Elektrik ve Elektronik Mühendisliğiİstanbul ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
PROF. DR. AYDIN AKAN