Classification of the motor EEG signals by using deep neural networks
Derin sinir ağları kullanarak motor EEG sinyallerinin sınıflandırılması
- Tez No: 612139
- Danışmanlar: PROF. DR. TAMER ÖLMEZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Bilişim Enstitüsü
- Ana Bilim Dalı: Bilişim Uygulamaları Ana Bilim Dalı
- Bilim Dalı: Bilişim Uygulamaları Bilim Dalı
- Sayfa Sayısı: 83
Özet
Zaman geçtikçe, teknolojik yenilikler hayatımızın vazgeçilmezleri haline geliyor. Bu durumda, insanlar aralıksız yeni keşifler yapmayı veya diğerlerinin yaptıklarını geliştirerek diğerlerinden daha iyi sonuçlar elde etmeyi amaçlar. Bu teknolojik deneylerin türünde, eğitimde veya günlük yaşamımızda olsun, genel olarak insan yaşamını kolaylaştırması amaçlanmaktadır. BCI (Beyin bilgisayar arayüzü ) da tam olarak bu sinifa dahildir. BCI son dönemlerde araştırma konularında önemli ölçüde değer kazanmaya başlamıştır. Gerek engelli insanlarla iletişim kurulması, yaşam kalitesinin arttırılması; gerekse oyun sektöründe kullanılma potansiyelinin yüksek oluşu konunun insani ve ticari yönden değerini arttırmaktadır. Oyun ekipmanından yapay organlara kadar çok çeşitli uygulamalarda kullanılan BCI teknolojisinin başlıca amacı, insan beyni ile elektronik cihaz arasında hiçbir bir periferik sinir yolu olmayan ara iletişim kanalı oluşturmaktır. Bağımsız ve pratik BCI türü olmasından dolayı, MI (hayali motor) çeşitli BCI en popüler metodlardan biridir. Hayali motor hareketler, gerçekte hiçbir fiziksel vücut haraketi yapmadan onun hayalini beyinde canlandırmaktır. Buna, sağ elin,sol elin veya ayaklarımızı hareket etdiriyor gibi düşünmek örnek ola bilir. MI hareketleri zamanı, beyinde sinyaller oluşmaya başlar ve bu motor sinyaller beyin bölgesinin üst-orta kısmında yerleşen motor korteksde üretiliyor ve genel olarak beş sınıfa ayrılıyor: α,β,θ,λ,γ. Her biri farklı frekans aralığını kapsıyor ve her biri farklı durumlarda yaranıyor, örneğin uyku zamanı veya ayık olduğumuz durumlar. Bu sinyalleri toplamak için çeşitli yöntemler kullanılıyor: Manyetoensefalografi (MEG), Elektroensefalogram (EEG), veya Fonksiyonel manyetik rezonans görüntüleme (fMRI) vb. Bilimsel araştırmalarda, örneğin, BCI'da en çok tercih edilen sinyal toplama yöntemi tam olarak EEG'dir. Non-invaziv olması EEG'yi tercih etmek için önemli sebeplerden biridir, çünkü bu teknik sinyal kaydı sırasında ameliyat gerektirmez. EEG başka bir deyişle- elektroansefalo, kafanın farklı bölgelerinde yerleştirilmiş elektrodlar, bu elektrodların bağlandığı amplifaktör ile insan beyninde üretilen sinyelleri kağıt üzerinde veya bilgisayarda basıyor. EEG bir çok alanda kullanıla bilinir: tıpta, deneysel araştırma labaratuarlarında ve saire. Epilepsi, beyin tümörü, hafıza bozuklukları, uyku problemleri, felç vb. birçok hastalıklar bile EEG kullanılarak tespit edilebilinir. Burada, BCIda sağlam veya hasta insanlar üzerinde farklı deneyler yapılarak tüm bedeni veya bedeninin bir kısmı felç olan insanlara bir tür yardımda bulunmak istenilir. Deneyler sırasında, EEG ile toplanılan beyinde üretilen sinyaller daha sonra sınıflandırılma adlandırılan prosedürde kullanılır. Mesela eğer deney sırasında sağ veya sol elimizi hareket etdirdiyimizi hayel etmeyi isterlerse, sınıflandırma yaparak toplanmış sinyallerin hangisinin sağ ve hangisinin sol el hayali hareket zamanı beyinde üretildiğini bula biliriz. Fakat bu o kadar da kolay bir işlem değildir. Sınıflandırma zamanı daha yüksek ve başarılı sonuçlar almak için herkes farklı yöntemler kullanır. Ancak klasik yöntemlerle elde edilen sınıflama başarımları henüz istenilen düzeylere ulaşamamıştır. Bu bağlamda hızlı ve sınıflama başarımı yüksek yeni yöntemlerin araştırılması son derece önemlidir. Son yıllarda derin öğrenme konusunda yüksek sınıflama başarımları elde edildiği gözlenmektedir. Bu tez çalışmasında EEG işaretleri, yüksek sınıflama başarımı olan derin sinir ağları kullanılarak sınıflandırılmıştır. Çalışmada geliştirilen ağ modelleri, 2008 yarışmasında yayınlanan ve Graz Universitesi tarafından gerçekleştirilmiş veri tabanı üzerinde denenmiştir. 2008 yarışma veri tabanında 9 denek bulunmaktadır. Her denek için farklı zamanlarda alınmış 5 EEG kaydı bulunmaktadır. Kayıtlar alınırken 3 tanesi için geri besleme kullanılmıştır. Yani, kayıt alınırken ekranda gösterilen komutun ne kadar doğrulukla icra edildiği geri besleme ile deneğe bildirilir. Bu çalışmada geri besleme kullanılmadan alınan kayıtlar kullanılmiş ve elde edilmiş olan sonuçların bu kayıtlarda bile yüksek başarı kazana bildiği gösterilmiştir. Her deneğe hayali motor haraketleri icra etmesi istenilir, yani, 7 saniye kapsamında ekranda gösterilen okun yönüne uygun olarak sağ veya sol elini hareket ettirdigini düşünmesi istenlir ve bu sırada EEG kayıtları toplanır. Dolayısıyla EEG işaretlerinde sadece iki sınıfa ait bilgi bulunmaktadır. Kayıtlarda 3 kanaldan (C3, C4, Cz) alınan EEG verileri bulunmaktadır. Çalışmada kanal sayısının sınıflama başarımı üzerindeki etkileri incelenmiştir. Bu bağlamda iki metot karşılaştırılacaktır: (i) 3 kanaldan gelen EEG verileri, sınıflandırılması için direkt olarak derin sinir ağına (DNN) verilmektedir. Burda, öznitelik çıkarmak için başarılı sonuçları ile popüler olan Evrişimsel Sinir Ağı (CNN), sınıflandırma için ise Tamamen Bağlı Sinir Ağı (FCNN) kullanılmaktadır. (ii) 3 kanaldan gelen EEG verileri, 5 farklı frekans bandına sahip süzgeçle süzülür. Bu durumda kanal sayısı, 15'e yükselir. 15 kanaldan gelen EEG verileri, Ortak Uzamsal Örüntü (CSP) metodu kullanılarak ayrıştırılır ve CSP çıkışındaki sinyalleri önce CNN daha sonra ise FCNN metodunu kullanarak sınıflmadırma yapılır. Genelde EEG verilerinin daha doğru sınıflandırılabilmeleri için kanal sayısının büyük olması istenilmektedir. Ancak bu durum, sistemi daha da karmaşık hale getirebiliyor. Çalışmada sanal olarak arttırılan yeni kanalllar ile hem sınıflama başarımı arttırılır hem de sistem karmaşası azaltılır. Çalışmada aynı zamanda derin sinir ağının genelleme özelliği de incelenmektedir. Beyin bilgisayar arayüzü sistemleri genellikle kişiye bağlı tasarlanmaktadır. Bu nedenle önce 9 deneğin her biri için ayrı bir derin sinir ağı bulunmuştur. Her ne kadar CSP basitlikle güçlü bir yöntem olsa da, bazı eksiklikleri de mevcutdur. CSP'nin beyin bilgisayar arayüzlerinde motor hareketindeki başarısı büyük ölçüde ERD (olaya dayalı senkronizasyon) ve ERS (olaya dayalı senkronizasyon) denilen fizyolojik olaylara bağlıdır ve bu yöntem çoğunlukla bireysel sistemlerde kullanılır. CSP ile yüksek sınıflama başarımı elde edilmesine karşın aslında CSP'nin kişiye/deneğe bağlı olması metodun bir dezavantajıdır. Bu dezavantaj, derin sinir ağı kullanılarak giderilmiştir. Bu bağlamda tüm 9 deneğe ait veri kullanılarak deneklerin hepsi için tek bir derin sinir ağı bulunmuştur. Çalışmada EEG verileri, MATLAB ortamında ayrıştırılır. Filtreler ve CSP metodu kullanılarak veriler ayrı ayrı dizinlere yazılır. Daha sonra, dizinlere ayrıştırılan veriler, derin sinri ağını eğitmek için kullanılır. Derin sinir ağlarının eğitimi, GeForce 2080 Nvidia grafik kartına sahip bir iş istasyonunda yapılmıştır. Derin sinir ağı modelleri, Linuks ortamında Python dilinde Tensorflow kütüphanesi kullanılarak kodlanmıştır. Toplam EEG veri kaydının %80'si eğitim kümesi için; diğer %20'si ise test kümesi için kulllanılmaktadır. Bu tezde yüksek sınıflama başarımı veren, şahıstan bağımsız yeni bir beyin blgisayar arayüzü metodu (filter + CSP + derin sinir ağı) geliştirilmiştir.
Özet (Çeviri)
The brain-computer interface (BCI), establishing relationship between brain and devices have become increasingly important recent times. Both being able to communicate with disabled people and playing video games without effort increases the value of the subject. However, the classification achievements of BCI that obtained by conventional methods have not yet reached the desired levels. In this respect, it forces to search for new methods that will improve the classification performance. It is observed that using deep learning techniques has achieved the desirable higher performances. In this thesis, the deep neural networks (DNN) were used to classify the EEG (electroencephalogram) signals to increase classification output. In this study the proposed network models were applied on dataset of the BCI Competition 2008. The database contains inputs obtained from nine subjects. There are five EEG recordings for each subject collected at different times by three electrodes C3,C4 and Cz. During training feedback was used for three records. This informs the subject how accurately he/she performed the task, but in this study, the feedback records have not been used. To describe the experiment, each subject is asked to imagine moving his or her right or left hand in accordance with the direction of the arrow shown on the screen and EEG was recorded on each experiment. Therefore, the EEG features contain information only belonging to two classes. In this study, the effects of channel number on classification performance were investigated. In this context, two methods will be compared: (i) EEG data from 3 channels are filtered by a filter with 5 different frequency bands. In this case, the number of channels increases to 15. EEG data from 15 channels are parsed using the Common Spatial Pattern (CSP) method and the signals at the CSP output are delivered to the deep neural network for classification. (ii) EEG data from 3 channels are directly transmitted to the deep neural network for classification. In general, it is desirable that the number of channels be large in order to classify the EEG data more accurately. However, this makes the system even more complicated. With the new channels that are increased in the study, both classification performance is increased and system complexity is reduced. In this study, the effects of channel number on classification performance were investigated. In this context, two methods will be compared: (i) EEG data from 3 channels are directly employed by deep neural (DNN) for classification. (ii) EEG data from 3 channels are filtered by five bandpass filters. In this case, the number of channels increase to 15. EEG data from 15 channels are extracted to the features using the CSP method and the signals at the output of the CSP are then delivered to the deep neural network for classification. In general, it is desirable that the number of channels be large in order to classify the EEG data more accurately. However, this makes the system even more complicated. But in this study the created extra channels can both reduce complexity and increase classification performance. In this study, generalization of DNN is also examined. BCI systems are often designed depending on the subject. Therefore, there exist 9 different DNN for each subject. But doing so could make disadvantage for CSP to achieve its best performance, even though CSP is known best feature extractor method. This disadvantage overcame by using the DNN with CSP for the whole data together that collected from nine subjects. In this study, EEG data is extracted in MATLAB environment by using prefiltering and CSP method. Then DNN has been used to train the extracted features on the GeForce 2080 Nvidia graphics card and coded by using the Tensorflow library in Python in the Linux environment. In total 80% of the EEG data was used for training set and other 20% is used for the test set. In this thesis, a new BCI method (filter + CSP + deep neural network) has been developed which gives high classification performance.
Benzer Tezler
- Classification of ten different motor imagery eeg signals by using deep neural networks
On farklı motor hareket hayaline ait eeg işaretlerinin derin sinir ağları ile sınıflandırılması
NURİ KORHAN
Doktora
İngilizce
2023
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. ZÜMRAY ÖLMEZ
- Motor imgeleme eeg sinyallerinin zaman-frekans spektrogramı temelli sınıflandırma yöntemlerinin incelenmesi ve karşılaştırılması
Examination and comparison of time-frequency spectrogram-based classification methods for motor imagery eeg signals
MEHMET GÜROCAK
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik MühendisliğiMarmara ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ VEYSEL GÖKHAN BÖCEKÇİ
DR. ÖĞR. ÜYESİ ULVİ BAŞPINAR
- El hareketlerinin gerçekleştirilmesi ve gözlemlenmesi esnasında kaydedilen EEG sinyallerinden derin öğrenme temelli sınıflandırma ile ayna nöron aktivitesinin değerlendirilmesi
Deep learning based classification of EEG signals recorded during execution and observation of hand movements to evaluate the mirror neuron activity
HÜSEYİN AKBULUT
Yüksek Lisans
Türkçe
2020
Bilim ve TeknolojiMarmara ÜniversitesiBeden Eğitimi ve Spor Ana Bilim Dalı
DOÇ. DR. ADİL DENİZ DURU
- Motor imagery EEG signal classification using deep learning for brain computer interfaces
Beyin bilgisayar arayüzü için derin öğrenme kullanarak motor imgeleme EEG sinyali sınıflandırma
YOUSEF REZAEI TABAR
Doktora
İngilizce
2017
BiyomühendislikOrta Doğu Teknik ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
PROF. DR. UĞUR HALICI
PROF. DR. CANAN KALAYCIOĞLU
- Beyin bilgisayar arayüzü uygulamalarında motor görüntüleme EEG sinyallerinin analizi için yeni yaklaşımlar
New approaches to analysis of motor imagery EEG signals in brain computer interface applications
ESRA KAYA
Doktora
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSelçuk ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. İSMAİL SARITAŞ