Target identification with deep learning for SSVEP-based brain-computer interface spellers
GUDHP tabanlı beyin-bilgisayar arayüzü heceleticileri için derin öğrenme ile hedef tespiti
- Tez No: 761235
- Danışmanlar: DR. ÖĞR. ÜYESİ HÜSEYİN ÖZKAN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 83
Özet
Beyin-bilgisayar arayüzü (BBA) heceleticilerinde hedef tanıma, kullanıcının heceletmek istediği hedef karakteri tahmin etmek için elektroensefalogram (EEG) sinyallerinin sınıflandırılmasına karşılık gelmektedir. Her karakterin görsel uyarıcısı farklı bir frekansla etiketlendiğinde, EEG, spektrumu bu etiketleme frekansının harmoniklerinin baskın olduğu görsel uyarılmış durağan hal potansiyelleri (GUDHP) sinyallerini ölçer. Biz bahsedilen bu durumdaki hedef tanımlama problemini ele almaktayız ve bu problem için bir derin sinir ağı (DSA) mimarisi, bir topluluk modeli ve önerilen ağın gözetimsiz bir uyarlaması olan toplam üç adet yenilikçi yöntem önermekteyiz. Kullanıcıya özel veriler kullanılarak iki aşamada eğitilen DSA mimarimiz bilgi transfer hızını (BTH) enbüyütme amacı ile geliştirilmiştir. İlk aşamada global bir model elde edilir ve ikinci aşamada elde edilen modelin kullanıcıya uyarlanması yapılır. GUDHP sinyalleri harmoniklerin alt bantları, kanallar, zaman boyunca konvolüsyonlar yoluyla işlenir ve tam bağlantılı katmanda sınıflandırılır. Bu yöntem ile beraber, herkese açık ve yaygın olarak kullanılan benchmark ve BETA veri setlerinde sırasıyla 265.23 bit/dk ve 196.59 bit/dk BTH değerleri elde etmekteyiz. Bu BTH değerleri literatürde bugüne kadar raporlanan en yüksek BTH değerleridir. Topluluk yöntemimiz, yeni kullanıcılardan herhangi bir ek veri gerektirmeyerek kullanıcı rahatlığına BTH'ye göre öncelik verir ve verileri, birkaç kişiden önceden toplanmış veriler (katılımcı verileri) kullanılarak eğitilmiş DSA mimarilerimizin ağırlıklı doğrusal kombinasyonu ile sınıflandırır. Geliştirdiğimiz topluluk modeli, benchmark veri setinde 155.51 bit/dk BTH'ye ve BETA veri setinde 114.36 bit/dk BTH'ye ulaşır. Üçüncü denetimsiz yöntemimiz, hem ITR maksimizasyonu hem de kullanıcı konforu hedeflerine ulaşmak için katılımcı verileriyle DSA mimarisinin ön eğitimini yapar, sonrasında ön eğitimi yapılmış modeli yeni kullanıcının etiketlenmemiş verilerini kullanarak yeni kullanıcıya uyarlar. Üçüncü denetimsiz yöntemimiz BTH enbüyütme ve kullanıcı konforu hedeflerine ulaşmak amacıyla, katılımcı verileri ile önceden eğitilmiş DSA mimarimizi kullanıcının etiketsiz verilerini kullanarak kullanıcıya uyarlar. Uyarlama kendi kendine adaptasyon ve yerel-düzenlilik terimlerinden oluşan yeni geliştirdiğimiz kayıp fonksiyonunu minimize ederek gerçekleştirilir. Bu yöntemimiz ile benchmark ve BETA veri setlerinde sırasıyla 201.15 bit/dk ve 145.02 bit/dk BTH değerlerini gözlemliyoruz. Bu sonuçlar, hem topluluk hem de gözetimsiz yöntemlerimizin, ttf-CCA ve OACCA gibi güncel en iyi alternatif kullanıcı konforu odaklı tekniklerden daha iyi performansa ulaştıklarını göstermektedir.
Özet (Çeviri)
Target identification in brain-computer interface (BCI) spellers refers to the electroencephalogram (EEG) classification for predicting the target character that the user intends to spell. When the visual stimulus of each character is tagged with a distinct frequency, the EEG records steady-state visually evoked potentials (SSVEP) whose spectrum is dominated by the harmonics of that tagging frequency. In this setting, we address the target identification and propose three novel methods, which are a deep neural network (DNN) architecture, an ensemble method, and an unsupervised adaptation of the proposed network. Our DNN is trained, exclusively for the information transfer rate (ITR) maximization, in two-stages with user-specific labeled data. First stage obtains a global model and the second fine-tunes it to the user. The SSVEP signals are processed through convolutions across the sub-bands of harmonics, channels, time, and classified at the fully connected layer. We achieve 265.23 bits/min and 196.59 bits/min ITRs on the publicly available and widely used benchmark and BETA datasets, respectively. These ITRs are the highest ever reported performance results in the literature to date. Our ensemble method prioritizes the user comfort over the ITR by not requiring any additional data from new users, and classifies the instances based on a weighted linear combination of our DNNs trained with previously collected data from several individuals (training subjects). The proposed ensemble method attains 155.51 bits/min ITR on the benchmark dataset and 114.36 bits/min ITR on BETA. In order to achieve both the ITR maximization and user comfort goals, our third unsupervised method pre-trains the DNN with data of the training subjects and then adapts to the new user while utilizing her/his unlabeled data. The adaptation is accomplished by minimizing a new loss function that we also propose, which consists of self-adaptation and local-regularity terms. We observe ITRs of 201.15 bits/min and 145.02 bits/min on the benchmark and BETA datasets, respectively. These results show that both our ensemble and unsupervised methods outperform the state-of-the-art alternative user-comfort-oriented techniques, such as ttf-CCA and OACCA.
Benzer Tezler
- Panoramik görüntüler üzerinden su altı hedef tespiti: DBSCAN ve derin öğrenme ağları ile bütünleşik bir yaklaşım
Underwater target detection via panoramic images: An integrated approach with DBSCAN and deep learning networks
FATMA KÜBRA AKIN KÜÇÜK
Yüksek Lisans
Türkçe
2024
Savunma ve Savunma Teknolojileriİstanbul Teknik ÜniversitesiSavunma Teknolojileri Ana Bilim Dalı
PROF. DR. İBRAHİM ÖZKOL
- Target detection and tracking from unmanned aerial vehicle cameras using embedded GPU
Gömülü cihazlar kullanarak insansız hava araçları üzerinden hedef tespit ve takibi
FIRAT MEHMETOĞLU
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik MühendisliğiÇankaya ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. YAHYA KEMAL BAYKAL
- Mikro şebekelerde derin öğrenme destekli enerji yönetimi
Deep learning assisted energy management in microgrids
HALİL ÇİMEN
Doktora
Türkçe
2020
Elektrik ve Elektronik MühendisliğiKonya Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. NURETTİN ÇETİNKAYA
- Real-time visual target identification and tracking via unmanned ground vehicle (UGV)
İnsansız yer aracı (UGV) üzerinden gerçek zaman görsel hedef belirleme ve izleme
NOUR ZAKARIYA AMMAR
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Aydın ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ OKATAN
- Incremental construction of Markov chains with dependence on non-temporal domains
Uzamsal bağımlılığı dikkate alan Markov zincirlerinin artımlı yapılandırılması
ZEYNEP KUMRALBAŞ
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA BORAHAN TÜMER