A brain-computer interface for object selection and tracking in videos
Videolarda nesne seçme ve takibi için beyin-bilgisayar arayüzü
- Tez No: 929237
- Danışmanlar: DOÇ. DR. HÜSEYİN ÖZKAN, DR. ÖĞR. ÜYESİ NİHAN ALP
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 106
Özet
Bu tez, videolarda nesne seçimi ve takibi için bir beyin-bilgisayar arayüzü (BBA) sunmaktadır. Sunulan BBA, elektroensefalografi (EEG) yoluyla ölçülen durağan hal görsel uyarılmış potansiyelleri (DHGUP) ve göz izleme teknolojisini kullanmaktadır. Veri toplama için iki EEG deney düzeni tanıtılmıştır: videoların üzerine bindirilmiş görünmez bir ızgara ve görünür bir ızgara. DHGUP uyarımı için, ızgara bölgelerine atanan farklı frekanslarla bir titreşim efekti elde edilmiştir. Görünmez ızgara düzeni kullanıcılar için daha konforlu olmasına rağmen, görünür ızgara nesne takibini kolaylaştırma avantajına sahiptir. EEG deneyleri 12 katılımcıyla gerçekleştirilmiştir. Her deney, 3, 4 veya 5 hareketli nesne (insan veya araç) içeren 16 videodan oluşmuş ve her video 16 kez tekrarlanarak her katılımcı için toplamda 256 deneme yapılmıştır. Her denemede, katılımcılardan belirtilen nesneye odaklanmaları istenmiştir. Nesne seçimi için, EEG sinyal işleme (yani DHGUP çözümlemesi) katılımcının odaklandığı nesneyi doğru şekilde tahmin ederse, bir denemenin başarılı olduğu kabul edilmiştir. Görünmez ızgara düzenindeki katılımcılar, EEG verilerinin ortalanmadığı durumda %48 ve her videonun tekrarları boyunca EEG verileri ortalandığında %79 seçim doğruluğu elde etmiş, bu oranlar yaklaşık %27 olan şans seviyesini önemli ölçüde aşmıştır. DHGUP sinyallerini etkili bir şekilde çözümlemek için Kanonik Korelasyon Analizi (KKA) kullanılmıştır. Görünür ızgara düzeninde ise doğruluklar, EEG verilerinin ortalanmadığı durumda %51'e ve ortalandığı durumda %82'ye ulaşarak şans seviyesini sürekli olarak aşmıştır. Bireysel videolar üzerinden yapılan analizler, özellikle üst üste binen veya belirsiz nesnelerin bulunduğu zorlu senaryolarda ortalamanın avantajlarını vurgulamıştır. Nesne takibi için, zaman içinde kayan bir pencere yöntemiyle seçim yapılmıştır. Tek başına göz izleme teknolojisi yüksek mekânsal hassasiyet sunmasına rağmen, doğruluğu kalibrasyon kayması ve bakış takibi kayıplarıyla sınırlıdır. Ortalama doğruluklar, 1,25 saniyelik bir pencere için %43,75 ve 2,5 saniyelik bir pencere için %35,67 olarak ölçülmüştür. Bu sınırlamaları gidermek için, EEG ve göz izleme verilerini birleştiren bir füzyon tabanlı metodoloji geliştirilmiştir. Bu sistem, göz izleme verilerinin düzgün bir şekilde kalibre edildiği durumlarda bu verileri önceliklendirirken, göz izleme kalibrasyon sorunları veya veri tutarsızlıkları yaşandığında EEG verilerini bir yedekleme mekanizması olarak kullanmıştır. Bu füzyon yöntemi, genel doğrulukta artış sağlamış; doğruluk, 1,25 saniyelik pencere boyutu için %51,04'e ve 2,5 saniyelik pencere boyutu için %48,96'ya yükselmiştir. Füzyon yöntemi ayrıca tek başına kullanılan modalitelere kıyasla Kök Ortalama Kare Hatasını (KOKH) azaltmış, değerler 1,25 ve 2,5 saniyelik pencereler için yalnızca göz izleme ile sırasıyla 1,99 ve 2,27'den, füzyon yönteminde 1,09 ve 1,15'e düşmüştür. Bu, füzyon yönteminin bireysel modalitelerin eksikliklerini etkili bir şekilde telafi ettiğini göstermektedir. Genel olarak, bu bulgular, DHGUP tabanlı BCİ'lerin nesne seçimi ve takibi için oldukça etkili olduğunu, karmaşık senaryolarda sağlam bir performans sunduğunu göstermektedir. Bu tez, bu sistemlerin dinamik ortamlarda gerçek zamanlı karar alma ve etkileşimleri geliştirme potansiyelini vurgulamaktadır. Bu ilerleme, savunmadan multimedya teknolojilerine kadar çeşitli alanlarda gelecekteki uygulamaların önünü açmaktadır.
Özet (Çeviri)
This thesis presents a brain-computer interface (BCI) for object selection and tracking in videos. The presented BCI utilizes steady-state visual evoked potentials (SSVEPs), measured via electroencephalography (EEG), and eye tracking. We introduce two EEG experiment setups for data collection: an invisible grid and a visible grid, overlaid on videos. A flickering effect is obtained for SSVEP stimulation with the distinct frequencies assigned to the grid regions. Although the invisible grid setup is more comfortable for the users, the visible grid has the advantage of facilitating object tracking. We conducted EEG experiments with 12 participants. Each experiment consisted of 16 videos that included 3, 4, or 5 moving objects (human or vehicle), and each video was repeated 16 times, resulting in a total of 256 trials per participant. In each trial, participants were instructed to focus on the indicated object. For object selection, a trial is assumed to be successful if EEG signal processing (i.e. SSVEP decoding) correctly predicts the object the participant focused on. Participants in the invisible grid setup achieved selection accuracies of 48% without averaging EEG data and 79% with averaging EEG data across the repetitions of each video, significantly exceeding the average chance level which is around 27%. Canonical Correlation Analysis (CCA) was utilized in the analysis to decode SSVEP signals effectively. In the visible grid setup, accuracies reached 51% without averaging and 82% with averaging, consistently surpassing the chance level. Analyses based on individual videos highlighted the advantages of averaging, especially in challenging scenarios with overlapping or ambiguous objects. For object tracking, we conduct selection via a sliding window in time. Although standalone eye tracking offers high spatial precision, its accuracy is limited by calibration drift and gaze tracking loss, with average accuracies of 43.75% for a 1.25-second window and 35.67% for a 2.5-second window. To address these limitations, a fusion-based methodology combining EEG and eye tracking data was developed, allowing the system to prioritize eye-tracking data when properly calibrated while using EEG data as a fallback in calibration issues or data inconsistencies in eyetracking. This fusion method led to an increase in overall accuracy, rising to 51.04% for a window size of 1.25 seconds and 48.96% for a window size of 2.5 seconds, demonstrating the added value of incorporating EEG signals. Our fusion method also reduced the Root Mean Square Error (RMSE) compared to standalone modalities, decreasing values from 1.99 and 2.27 (eye tracker only) to 1.09 and 1.15 for windows of 1.25 and 2.5 seconds, respectively. This indicates that the fusion method effectively compensates for the shortcomings of individual modalities. Overall, these findings demonstrate that SSVEP-based BCIs are highly effective for object selection and tracking, providing robust performance in complex scenarios. This thesis highlights the potential of these systems to improve real-time decision making and interactions in dynamic environments. This advancement paves the way for future applications in various fields, ranging from defense to multimedia technologies.
Benzer Tezler
- İki serbestlik dereceli hareket kontrolü için zihinsel görev sınıflandırma tabanlı beyin- bilgisayar arayüzü tasarımı
Mental task classification based brain-computer interface design for 2 dof movement control
ÇAĞLAR UYULAN
Yüksek Lisans
Türkçe
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÜsküdar ÜniversitesiNörobilim Ana Bilim Dalı
YRD. DOÇ. DR. TÜRKER TEKİN ERGÜZEL
- Derin öğrenme yöntemi ile optik uydu görüntülerinden gemi tespiti
Ship detection by optical satellite images with deep learning method
OSMAN DUMAN
Yüksek Lisans
Türkçe
2019
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. MESUT KARTAL
- Nesne tespiti ve görüntü sınıflandırmada derin öğrenme modellerine dayalı yeni yöntemlerin geliştirilmesi
Development of novel deep learning-based methods for object detection and image classification
MALIKI MOUSTAPHA
Doktora
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolErciyes ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. CELAL ÖZTÜRK
- Değiştirilmiş kohonen ağı simülasyon programı
A Simulation program for modified kohonen network
ENDER TUNÇ EROĞLU
Yüksek Lisans
Türkçe
1993
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. UĞUR ÇİLİNGİROĞLU
- A computational model of the brain for decoding mental states from fMRI images
FMRI görüntülerinden zihinsel durumların çözümlenmesi için hesaplamalı bir beyin modeli
SARPER ALKAN
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilişsel Bilim Ana Bilim Dalı
PROF. DR. FATOŞ TUNAY YARMAN VURAL