Geri Dön

Real-time emotion recognition from EEG signals using one electrode device

Tek elektrotlu cihaz ile EEG sinyallerinden gerçek zamanlı duygu tanıma

PDF İndir

  1. Tez No: 467199
  2. Yazar: MEHMET ALİ SARIKAYA
  3. Danışmanlar: YRD. DOÇ. DR. GÖKHAN İNCE
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2017
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 79

Özet

Bilgisayarın ilk icat edildiği günden beri insanlar ile bilgisayarlar arasında bir etkileşim söz konusudur. Bu etkileşim yazılım veya donanımlar aracılığıyla icra edilebilmektedir. İnsanlar ile bilgisayarlar arasındaki etkileşimi sağlayan arayüzler Beyin-Bilgisayar Arayüzleri (BBA) olarak tanımlanmaktadır. BBA uygulamalarında hem pratik kullanımı hem de zamanla daha portatif bir yapıya dönüşmesi nedeniyle ElektroEnsefaloGrafi (EEG) sinyalleri tercih edilmektedir. EEG teknolojisi ile beynin elektriksel aktivitesi ölçülmektedir. Son yıllarda geliştirilen birçok uygulama bu aktiviteden yararlanmaktadır. Son yıllarda araştırmacılar, tıbbi uygulamalardaki yaşam kalitesini artırmak için ElektroEnsefaloGrafi (EEG) tabanlı Beyin-Bilgisayar Arayüzleri (BBA) geliştirmeye odaklandılar. Bu bağlamda fiziksel engelli insanların BBA uygulamaları aracılığıyla temel ihtiyaçlarını karşılayabilecekleri ürünler ortaya koydular. Ayrıca pazarlama alanında üretilen içeriklerin kullanıcılar üzerindeki etkisi yine BBA uygulamaları ile tespit edilmeye çalışıldı. Son zamanlarda ise meditasyon uygulamaları ve nöroterapi için bir vazgeçilmez ürün haline geldi. Birçok oyun ve eğlence uygulaması BBA aracılığıyla daha da zenginleştirildi. Hem tıbbi hem de pazarlama, oyun oynama ve eğlence gibi tıbbi olmayan uygulamalar, kullanıcının çoklu ortam kaynaklı algı ve duygusal deneyimini yorumlama yeteneğini gerektirir. Bir bireye ait hem içsel hem de çevresel faktörlerin kişiye özgü olarak yarattığı değişimler duygu olarak adlandırılır. BBA uygulamalarının kişiye özgü ve etkin hale getirilebilmesi için duygusal durumun tespiti önemli bir adımdır. Bu nedenle duygusal durumun doğru tespit edilmesi için çalışmalar yapılmasına ihtiyaç duyulmaktadır. Literatürde EEG sinyalleri ile gerçek zamanlı duygu tanıma alanında yapılmış çalışma yok denilecek kadar azdır. Bu çalışma ile bu eksikliğin kapatılması hedeflenmektedir. Ayrıca nöroteknolojinin geleceğin teknolojisi olacağını öngörmek mümkün. İnsanların düşüncelerini bilgisayarlara yükleyebileceği günlerin hayali kurulan günümüzde bu çalışmaların insanların bilişsel kapasitesini arttırılabilecek uygulamalara ön ayaklık edeceği su götürmez bir gerçektir. Son yıllarda EEG teknolojisindeki gelişmeler ile birlikte EEG cihazları daha uygun maliyetler ile elde edilebilmektedir. Ayrıca her geçen gün daha az kanallı EEG cihazları kullanılarak daha karmaşık iler yapılmaya çalışılmaktadır. Duygu tanıma için tek elektrotlu bir cihaz kullanan çalışma sayıca azdır, çünkü tek kanallı EEG cihazları yakın zamanda piyasaya sürülmüştür. Tek elektrotlu cihazlar ekonomiktir ve kullanımı kolaydır. Önümüzdeki yıllarda daha yaygın bir şekilde literatürde yer edineceği öngörülmektedir. Bu tezde, gerçek zamanlı olarak kullanıcıdan tek kanallı ticari bir BBA cihazıyla elde edilen EEG verileri kullanılarak kullanıcıya ait anlık duygu durumu tespiti yapan bir sistem tasarlanmıştır. Bu sistem tasarlanırken şu zorlu problemlerin üstesinden gelinmiştir: EEG sinyallerinin toplanmasını, en uygun özniteliklerin seçilmesini ve bu öznitelikleri kullanan en uygun tespit modelinin oluşturulması. EEG sinyallerini toplamak için bir yazılım yazılmıştır. Bu yazılım, gerçek zamanlı olarak gelen verileri raporlayabilmektedir. Bu yazılım yazıldıktan sonra raporlanan verilere bakarak yazılımın doğru çalışıp çalışmadığı test edilmiştir. Doğru özniteliklerin seçimi için öncelikle duyguları doğru şekilde uyaracak görsel ve işitsel içerik oluşturulmuştur. Bu nedenle hem süre olarak kısa olacak hem de olabildiğince etkili olacak görsel ve işitsel ögeler seçilmiştir. Bulunan içeriklerin yeterliliği birkaç ön değerlendirme testi sonucunda belirlenmiştir. İçerik seçimi tamamlandıktan sonra özniteliklerin seçimi için EEG verilerinin içerikteki duygusal ögelerle korelasyonunu bulmak amacıyla literatürde yaygın kullanılan karar ağaçları ve rasgele orman algoritmaları kullanılmıştır. Rasgele orman algoritması kullanarak özniteliklerin önem sırası belirlenmiştir. Özniteliklerin önem sırası gözetilerek hangi özniteliklerin nihai modelde olması gerektiğine karar verilmiştir. En uygun modelin oluşturulması için derin öğrenme algoritması ve farklı parametreler için grid arama özelliği kullanılarak en uygun parametreler belirlenmiştir. Belirlenen modelin uygunluğu için veriler eğitim, doğrulama ve test verisi olarak gruplara ayrılmış ve başarı oranı ölçülmüştür. Ayrıca oluşturulan modelin gerçek zamanlı olarak çalışacak kadar yanıt verme süresinin hızlı olduğu ortaya konmuştur. Üretilen model gerçek zamanlı olarak test edilmiş ve yanıt süresi ölçülmüştür. Gerekli zaman kısıtları altında doğru sonuçlar üretebildiği ile test edilmiştir. Bu sayede oluşturulan sistemin başarısı ortaya konmuştur. Yapılan çalışma sonucu üretilen modelin hem gerçek zamanlı olan hem de gerçek zamanlı olmayan sınıflandırma başarısı ölçülmüştür. Her iki durum için de beklentileri karşılayacak nitelikte bir başarı oranı elde edilmiştir. Ayrıca artımlı öğrenme yaklaşımı kullanılarak hem gözetimli öğrenme hem de gözetimsiz öğrenme için sistemin başarısı test edilmiştir. Sistemin başarısını etkileyen tüm parametreler irdelenmiştir. Oluşturulan model ve yöntem bu tip çalışmalar için bir öncü niteliğinde olacaktır. Yapılan deneylerin ve toplanan verilerin artması ile birlikte insan yaşamındaki sıradan olayların bile beyin sinyalleri ile ilişkisi ortaya çıkarılacaktır. Özetle, kullanıcılar farklı duygu durumlarını tetikleyecek film parçaları ve binoral vurulardan oluşan bir videoya izlerken kullanıcılardan gelen EEG verileri toplanmıştır. Sonra bu EEG verileri üzerinde ön işleme ve öznitelik seçimi işlemleri yapılmış ve derin öğrenme sinir ağları kullanılarak %87'nin üzerinde bir doğruluğa sahip bir duygu tanıma modeli oluşturulmuştur. Daha sonra ise bu model kullanılarak gerçek zamanlı olarak gelen EEG verilerini tutan belirli bir uzunluktaki kuyruk yapısı üzerinde anlık duygu durumu tespiti yapan bir sistem oluşturulmuştur. Sonuç olarak, EEG sinyallerini kullanarak gerçek zamanlı duygu tanıma işlemi gerçekleştiren bir model sunulmuştur. Çoklu ortam tarafından uyarılan duygular ile beyin dalgaları arasındaki ilişki ortaya konulmuştur. Yapay sinir ağlarını temel alan bir sınıflandırıcı kullanılarak komedi, korku ve hüzün duygularını barındıran çoklu ortam türleri ortalama %87'lik bir doğruluk ile sınıflandırılmıştır. Gelecekte kullanıcıların korku seviyesine bağlı olarak olayların gelişeceği gerçek zamanlı bir oyun yapmayı planlıyoruz. Bu oyunda kullanıcılar, çözmek zorunda olduğu gizemlerin yanısıra korkularını da yenmek zorunda oldukları uyarlanabilir bir hikaye ile karşılaşacaklar. Gelecekte bu tarz çalışmaların zenginleşip artmasıyla birlikte insanların hastalanmayacağı veya üzülmeyeceği daha mutlu yaşayacağı bir toplumun oluşabileceği ümit edilmektedir. Fakat bu çalışmaların ahlaki ve etik sınırların dışında kullanılmamasını sağlamak için de çalışmalar yapılması gerekmektedir. Devletin ideolojik aygıtları tarafından bu tarz çalışmaların kullanılması suretiyle distopik bir topluma dönüşme ihtimali de mevcuttur. Bu nedenle gelecekte bu tarz uygulamaların etik sınırlarda kalması için protokoller geliştirilmesi hedeflenmektedir.

Özet (Çeviri)

Since the day the computer was first invented, there has been an interaction between people and computers. This interaction can be performed through software or hardware. The interfaces that provide interaction between people and computers are defined as Brain-Computer Interfaces (BCI). Electroencephalography (EEG) signals are preferred because of their practical use and portable structure in BCI applications. EEG technology measures the electrical activity of the brain. Many applications developed in recent years benefit from this activity. In recent years, researchers have concentrated on the development of ElectroEncephaloGraphy (EEG) based Brain-Computer Interfaces (BCI) to increase the quality of life using medical applications. In this context, BCI applications were introduced that could meet the basic needs of people with physical disabilities. In addition, the impact of the content produced in the marketing field on the users was tried to be determined with BCI applications. In recent times it has become an indispensable product for meditation practices and neurotherapy. Many games and entertainment applications were further enriched through the BCI. BCIs are used for marketing, gaming, and entertainment to provide users with a more personalized experience. Both medical and non-medical applications require the ability to interpret the user's multimedia-induced perception and emotional experience. The changes that both internal and environmental factors create in a person-specific manner are called emotions. Estimating the emotional state of a person is an important step to build effective BCI applications. Therefore, studies are needed to identify the correct emotional state. In the literature, there are few studies on real-time emotion recognition with EEG signals. With this study, it is aimed to close these deficiencies. It is also possible to foresee that neurotechnology will be the technology of the future. The day when people can upload their thoughts to computers is an unquestionable fact that these studies will prevail with applications that can increase the cognitive capacity of people. With the developments in EEG technology in recent years, EEG devices can be obtained with more reasonable costs. In addition, more complex advances are being made every day by using less channel EEG devices. The number of studies using a single-electrode device for emotion recognition is low, because single-channel EEG devices have recently been marketed. Single electrode devices are economical and easy to use. It is predicted that it will be included in the literature more widely in the coming years. In this thesis, a system is designed which detects instantaneous emotional state by using EEG data obtained in real-time with a single-channel commercial BCI device. While designing this system, it comes from the top of the following challenging problems: The collection of EEG signals, the selection of the most appropriate features, and the creation of the most appropriate detection model using these features. A software was written to collect the EEG signals. This software can report data coming in real time. After this software has been written, it has been tested whether the software works correctly by looking at the reported data. For the selection of the right features, firstly visual and auditory content was created to warn emotions correctly. For this reason, visual and auditory items that are both short in duration and as effective as possible have been chosen. The sufficiency of the content found was determined as a result of several pre-evaluation tests. After the content selection was completed, decision trees and random forest algorithms, which are widely used in the literature, were used to correlate EEG data with the emotional state of the content. The order of importance of the features is determined using the random forest algorithm. It has been decided which features should be in the final model by taking the order of importance of the features. In order to create the most appropriate model, the most suitable parameters were determined by using the deep learning algorithm and the grid search method for different parameters. For the suitability of the specified model, the data were divided into groups as training, validation and test data and the success rate was measured. It is also shown that the response time is fast enough to work in real time. The generated model is tested in real time and the response time is measured. It has been tested to produce accurate results under the required time constraints. The success of the system created on this issue has been revealed. Both the real-time and non-real-time classification success of the generated model is measured. In both cases, a success rate was achieved that would meet expectations. In addition, the system has been tested for both supervised and unsupervised learning using an incremental learning approach. All the parameters affecting the success of the system are discussed. The created model and method will be a pioneer for such studies. With the experimentation and the increase of collected data, even the ordinary events in human life will reveal the relation with the brain signals. To sum up, first, while the users watched a video consisting of film fragments and binaural beats that would trigger different emotional states, the EEG data from the users were collected. Then, pre-processing and feature selection were performed on this EEG data and an emotion recognition model with an accuracy of more than 87% was generated using deep learning neural networks. Using this model, a system which detects the instant emotional state on the queuing port structure of a certain length buffer using real time EEG data is designed. As a result, we present a real-time emotion recognition model using EEG signals. This thesis tackled to figure out the specific link between brain waves and the multimedia-induced emotions. Using an ANN-based classification scheme, the proposed system classifies the multimedia genres such as funny, horror, weepy with an average accuracy of 87% which cause emotional or psychological experiences that are induced in viewers. The system can be used for both medical and non-medical applications. In the future, we plan to develop a real-time game based on the fears of the players which will impact all events in the game. The game will come with a horror story which sets players up to solve a mystery while overcoming their fears. In the future, with the increase in work in this area, a society is hoped that people will not be sick and will be happy. But it is also necessary to work to ensure that these studies are not used outside ethical and moral boundaries. There is also the possibility that the ideological apparatus of the state may turn into a dystopic cluster by using such studies. For this reason, it is aimed to develop protocols in order to keep such applications in ethical limits in the future.

Benzer Tezler

  1. Tez No

    728825

    Stacked frequency-timeGRUs for continuous arousal recognition from musical audio

    Müzikal ses verisi üzerinde sürekli uyarılma tanıması için yığın yapılı frekans-zaman GRU mimarisi

    ASLIHAN ÇELİKER

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    PROF. DR. YÜCEL YEMEZ

    PROF. DR. ENGİN ERZİN

  2. Tez No

    856807

    Application of a voting-based ensemble method for recognizing seven basic emotions in real-time webcam video images

    Gerçek zamanlı web kamerası video görüntülerinde yedi temel duygunun tanınmasına yönelik oylamaya dayalı topluluk yönteminin uygulanması

    AHMET TUNAHAN ŞANLI

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MURAT SARAN

  3. Tez No

    878671

    Emotion recognition in children: Single and multimodal approaches with facial and physiological data

    Çocuklarda duygu tanima: Yüz ve fizyolojik verilerle tekli ve çoklu modalite yaklaşimlari

    ŞEYMA TAKIR

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. HATİCE KÖSE

  4. Tez No

    768783

    Real-time facial emotion recognition for visualization systems

    Görselleştirme sitemleri için gerçek zaman yüz duygu tanıma

    CEREN ÖZKARA

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Elektrik ve Elektronik Mühendisliğiİzmir Ekonomi Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. PINAR OĞUZ EKİM

  5. Tez No

    849108

    DA4HI: A deep learning framework for facial emotion recognition in affective systems for children with hearing impairments.

    DA4HI: İşitme engelli çocuklar için duyuşsal sistemlerde yüzdeki duyguların tanınması maksadıyla geliştirilen derin öğrenme modeli.

    CEMAL GÜRPINAR

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. HATİCE KÖSE

    PROF. DR. NAFİZ ARICA

Geri Dön