Towards adaptive brain-computer interfaces: Statistical inference for mental state recognition
Uyarlanabilir beyin-bilgisayar arayüzlerine doğru: Zihinsel durum tanıma için istatistiksel çıkarım
- Tez No: 642057
- Danışmanlar: DOÇ. DR. MÜJDAT ÇETİN, Prof. Dr. SELİM SAFFET BALCISOY
- Tez Türü: Doktora
- Konular: Biyomühendislik, Elektrik ve Elektronik Mühendisliği, Bioengineering, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 179
Özet
Beyin-bilgisayar arayüzü (BBA) sistemleri, beyin ile harici cihazlar arasında doğrudan iletişim kanalları kurmayı amaçlamaktadır. Bu arayüzleri inşa etmek için birincil motivasyon inme ve amyotrofik lateral skleroz (ALS) gibi, kas kontrolü sınırlı olan veya hiç olmayan hastaların, ölçülen beyin elektriksel aktivitelerine dayalı biçimde, niyetlerini otomatik olarak yorumlayarak, bilgisayarları veya diğer cihazları kullanmalarını sağlamaktır. Ayrıca, günümüzde sağlıklı bireylerin BBA sistemlerini ek bir iletişim kanalı olarak, belirli insan bilgisayar etkileşim sistemlerinde, kullanmalarını sağlamak da büyük bir ilgi çekmektedir. Mevcut deneysel BBA sistemleri gözetimli bir şekilde eğitilip daha sonra test oturumu verilerinde değerlendirmektedir. BBA'ların günlük ve uzun vadeli, örneğin yarı otonom arabalarda, kullanımına yönelik artan taleplerle, bu tür sistemler daha uzun zamanlı oturumlarda test edilmiştir, ve bu bağlamda araştırmacılar eğitimli sistemlerin başarımlarının önemli ölçüde düştüğünü gözlemlemişler. Bunun elektroensefalografik (EEG) sinyallerin durağan olmayan doğasından kaynaklandığına inanılmaktadır. Bunun sonucunda, test oturumları sırasında bu tür değişikliklere uyum sağlayan, yarı gözetimli öğrenme ile uyarlanabilir BBA'ların tasarlanması yeni bir araştırma alanı olarak ortaya çıkmıştır. Bu sinyallerin durağan olmamasının temel nedenlerinden biri, kullanıcıların bilişsel yük, uyanıklık, dikkat, yorgunluk, can sıkıntısı ve motivasyon gibi bilişsel durumlarındaki değişikliklerdir. Ancak, EEG sinyallerinden bu tür bilişsel durumlar hakkındaki bilgileri dinamik olarak çıkarmak ve bunu BBA sistemlerinin başarımlarını iyileştirmek için kullanmak önemli ve hâlâ çözülememiş zor bir araştırma sorunudur. Biz bu tezde çok karmaşık bir sorun olan, bilişsel görevlerin yürütülmesi sırasında kullanıcıların uyanıklık ve dikkat düzeyini tahmin etmeyi ele alıyoruz. Uzun vadeli görev ve tepki süresi tutarlılıklarının nöral, EEG tabanlı ilintilerini belirlemek için tepki görevine sürekli dikkat (SART) testine dayalı bir dizi deney tasarlıyoruz. Uyanıklık için yeni bir uyarlanabilir puanlama şeması önerdikten sonra, içsel dinlenme ve görevle ilgili beyin ağları arasındaki yakın ilişki hakkında yeni kanıtlar sağlıyor ve sinir ağları ve dinlenme durumu EEG sinyallerinin uzamsal-izgesel öznitelikleri üzerinde alaka analizi kullanarak tonsal başarım ve tepki süresindeki tutarlılığı öngörmek için modeller geliştiriyoruz. Daha sonra, düşük ve yüksek uyanıklık aralıklarını öngörmek hedefine odaklanıp, evresel uyanıklığın ve başarım tutarlılığının başarılı öngörücüleri olarak evre kilitleme değeri özniteliklerini kullanan, evrişimli sinir ağlarına (CNN'ler) dayalı tam otomatik sistemler öneriyoruz. Bu katkılarımızın tümünde, uzun ve monoton deneylerdeki aşırı uyanık ve uykulu aralıkları modellemek ve tespit etmek için kişisel uyanıklık özniteliklerini ve bireysel psikofizyolojik farklılıkları dikkate alıyoruz, ve literatürü, uyanık ve tutarlı davranışın uzamsal-izgesel-zamansal ilintilerine dair kanıtlarla zenginleştiriyoruz. Ardından, kullanıcıların sürekli uyanıklık seviyelerinin yeni bir aşamaya girdiği anların sıralı çıkarımı ve tespiti için değişim noktası modellerini kullaniyoruz. Çevrimiçi ve çevrimdışı uyanıklık modellerimizin, hem laboratuvarımızda toplanan SART veri kümele- rinde hem de uyanıklık etiketleri içeren sürüş veri kümelerinde değişim noktalarını başarılı olarak tespit etmesini gösteriyoruz. Sonunda, bu tezin en öne çıkan katkısı olarak, altta yatan uyanıklık seviyelerinin kullanıcıların tepki verme süresini ve dolayısıyla BBA motor hareketlerini zihinde canlandırmaya odaklanma kabiliyetini etkilediğini varsayıyoruz. Daha sonra, eğitim ve test oturumları sırasında aralıkların uyanıklık seviyelerini etiketlemek için bir dizi yeni gözetimsiz öğrenme şeması kullanan ve hem öznitelik çıkarımı hem de sınıflandırıcı parametrelerinin eğitiminde tam uyarlanma özelliğine sahip bir yönteme yol açan Hayali Motor Hareketleri Tabanlı BBA için bir Uyarlanabilir Uyarılılığa dayalı Sınıflandırmayı sunuyoruz. Bu uyarlanabilir sınıflandırma yaklaşımının, çeşitli uyanıklık kümeleme şemalarımız tarafından düşük uyanıklık seviyeleriyle etiketlenmiş aralıklarda farklı şekilde eğitilmiş üç farklı versiyonu tanıtılıyor. Sonuç olarak, kendi SPIS MI-BCI veri kümemiz ve BCI Competitıon IV 2a veri kümesi için orijinal, uyarlanabilir olmayan temele göre uyarlanabilir versiyonların genel test doğruluğundaki gelişmeleri rapor ediyoruz. BBA laboratuvarımızda toplanan birkaç veri kümesi, şu adreste halka açık bir depoya yüklenmiştir https://github.com/mastaneht.
Özet (Çeviri)
Brain-computer interface (BCI) systems aim to establish direct communication channels between the brain and external devices. The primary motivation is to enable patients with limited or no muscular control, including amyotrophic lateral sclerosis (ALS) and stroke patients, to use computers or other devices by automatically interpreting their intent based on the measured brain electrical activity. Furthermore, enabling healthy individuals to use BCI systems as an additional communication channel in certain human computer interaction systems is also a current topic of interest. Current experimental BCI systems are trained in a supervised fashion and then evaluated during test sessions. With increasing demands for daily and long-term use of BCIs in real-life applications such as in semi-autonomous cars, BCIs have been tested on longer sessions in which researchers have observed considerably lower performance of trained systems. This is believed to be caused by the nonstationary nature of the electroencephalographic (EEG) signals. As a result, semi-supervised adaptation of BCI systems based on test data has emerged as a new research domain. One of the main reasons underlying the nonstationarity of signals involves changes in the users' cognitive states such as the cognitive load, alertness, attention, fatigue, boredom, and motivation. However, dynamically extracting information about such cognitive states from EEG signals and using that to improve the performance of BCI systems is currently an open research problem. In this thesis, we tackle the highly complex problem of estimating the level of alertness and vigilance of users during execution of cognitive tasks. To identify the neural, EEG-based correlates of long-term task and response time consistency, we devise a series of experiments running the sustained attention to response task (SART). After proposing a novel adaptive scoring scheme for vigilance, we provide new evidence on the close relationship between intrinsic resting and task-related brain networks and develop models to predict consistency in tonic performance and response time using neural networks and feature relevance analysis from spatio-spectral features of resting-state EEG signals. Next, focusing on the imminent goal of predicting low and high vigilance intervals, we propose fully automated systems based on convolutional neural networks (CNNs) using phase locking value features as successful pre-trial predictors of phasic vigilance and performance consistency. In all of these contributions, we consider the personal vigilance traits and individual psychophysiological differences for modeling and detecting the extremely alert and drowsy trials in long and monotonous experiments, and enrich the literature with the evidence on spatio-spectro-temporal correlates of vigilant and consistent behavior. We then utilize Bayesian changepoint models for sequential inference and detection of instants at which continuous vigilance levels of users enter a new phase. We demonstrate the success of our online and offline vigilance models in detecting changepoints from both the SART datasets collected in our lab and driving datasets that contain vigilance labels. Finally and as the highlight of this thesis, we hypothesize that the underlying vigilance levels affect users' reaction time and thus the ability to focus and engage in motor imagery BCI paradigms. We then introduce an adaptive alertness-aware MI classification system for motor imagery BCI that uses a series of novel unsupervised learning schemes for labeling trial vigilance levels during training and test sessions, and leads to a method with full adaptation in both feature extraction and training of its classifier parameters. Three different versions of this adaptive classification approach are introduced that are trained differently on trials labeled with low vigilance levels by our various vigilance clustering schemes. We report improvements in the overall test accuracy of adaptive versions with respect to the original, non-adaptive baseline for our own SPIS MI-BCI dataset and the BCI Competition IV Dataset 2a. A number of datasets collected in our BCI laboratory are uploaded to a public repository at https://github.com/mastaneht.
Benzer Tezler
- Obtaining EEG-based features of mental states with brain-computer interfaces using machine learning
Makine öğrenmeyi kullanarak beyin-bilgisayar arayüzleri ile zihinsel durumların EEG tabanlı özelliklerinin elde edilmesi
AHSAN MUMTAZ
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. IMAN ELAWADY
- Dalgacık dönüşümü yöntemi ile kendi yapılanan işaret örüntü kodlama
Self organised signal pattern encoding by wavelet transform method
MERİÇ YÜCEL
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Üniversitesi-CerrahpaşaBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET SERTBAŞ
PROF. DR. BURAK BERK ÜSTÜNDAĞ
- Biyokültürel evrim modeli: Müzik uygulamaları
Biocultural evolution model: Music practices
GÜNCEL GÜRSEL ARTIKTAY
Doktora
Türkçe
2023
Müzikİstanbul Teknik ÜniversitesiMüzikoloji ve Müzik Teorisi Ana Bilim Dalı
PROF. DR. BELMA OĞUL
PROF. DR. KEREM CANKOÇAK
- Yapay sinir ağları ve uygulamaları
Başlık çevirisi yok
M. MURAT GÖKÇAY
Yüksek Lisans
Türkçe
1993
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MİTHAT UYSAL
- Grup teknolojisi imalat sistemleri tasarımı için bir metodoloji ve bu metodolojinin endüstride uygulanması
Başlık çevirisi yok
NEVİN AYDIN
Doktora
Türkçe
1998
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. M. BÜLENT DURMUŞOĞLU