Geri Dön

An affective framework for brain computer interfaces using transfer learning in virtual environments

Sanal ortamlarda transfer öğrenme kullanılarak beyin bilgisayar arayüzleri için duyuşsal çerçeve oluşturulması

PDF İndir

  1. Tez No: 915297
  2. Yazar: MEHMET ALİ SARIKAYA
  3. Danışmanlar: DOÇ. DR. GÖKHAN İNCE
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 144

Özet

Son yıllarda, psikoloji, sağlık hizmetleri ve insan-bilgisayar etkileşimi gibi çeşitli alanlardaki uygulamaları bağlamında, fizyolojik sinyaller aracılığıyla duygu tanımanın önemi giderek daha fazla kabul görmektedir. ElektroEnsefaloGrafi (EEG), ElektroMiyoGrafi (EMG), ElektroOkuloGrafi (EOG), ElektroDermal Aktivite (EDA), galvanik cilt tepkisi, cilt sıcaklığı, solunum, kan hacmi nabzı, kalp hızı ve göz hareketleri gibi fizyolojik sinyaller, sanal gerçeklik ortamlarında geleneksel yöntemlerin yetersiz kaldığı yerlerde yüz tanıma sistemlerine uygun bir alternatif sunmaktadır. Bu durum, kullanıcıların duygusal durumlarını belirlemek ve sanal ortamlarla etkileşimlerini artırmak için fizyolojik sinyallerin kullanılmasına yönelik artan bir ilgiye yol açmıştır. Fizyolojik sinyal tabanlı duygu tanımanın umut verici beklentilerine rağmen, etkili sistemlerin geliştirilmesiyle ilgili önemli zorluklar vardır. En önemli sorunlardan biri, ruh hali ve stres seviyeleri gibi bireye özgü faktörlerden etkilenebilen bu sinyallerin yüksek değişkenliğidir. Bu değişkenlik, hem zaman alıcı hem de maliyetli olan büyük miktarlarda veri toplanmasını gerektirmekte, bu da süreci sıkıcı ve verimsiz hale getirmektedir. Ayrıca, psikolojik örüntülerin geçici olduğu bilinmektedir, bu da zaman içinde sınıflandırıcıların performansında düşüşe yol açmakta ve sık sık yeniden kalibrasyon yapılmasını gerektirmektedir. Bu sorunları hafifletmek için bu tez, görüntü tanıma gibi diğer alanlarda başarılı olan transfer öğrenme stratejilerinin benimsenmesini önermektedir. Transfer öğrenimi, önceden var olan modellerden ve veri kümelerinden yararlanılmasına olanak tanıyarak kapsamlı yeni veri toplama ihtiyacını azaltır ve modellerin minimum ek eğitimle yeni görevlere uyarlanmasını sağlar. Bu yaklaşım sadece zaman kazandırmakla kalmaz, aynı zamanda duygu tanıma sistemlerinin doğruluğunu ve verimliliğini de artırır. Bu tezin odak noktalarından biri, özellikle EEG tabanlı olanlar olmak üzere mevcut Beyin-Bilgisayar Arayüzü (BBA) sistemlerindeki kalibrasyon sürecidir. Bu sistemler, çok sayıda eğitim oturumunda biriken verilere büyük ölçüde bağlı olduklarından, tipik olarak uzun kalibrasyon süreleri gerektirmektedir. Bu tez, kalibrasyon süresini önemli ölçüde kısaltabilecek ve böylece BBA sistemlerini gerçek dünya uygulamaları için daha pratik ve erişilebilir hale getirebilecek uyarlanabilir algoritmaların geliştirilmesini savunmaktadır. Tez, duygu tanımada kişiye özgü ve kişiden bağımsız modeller arasındaki ayrımı tartışmaktadır. Kişiye özgü modeller, yüksek doğruluk sunarken, sınırlı veriye aşırı uyum sağlama eğilimindedir ve bu da genelleme yeteneklerini ciddi şekilde kısıtlayabilir. Öte yandan, daha genel olacak şekilde tasarlanan kişiden bağımsız modeller, kişiselleştirilmiş duygu tanıma için çok önemli olan bireysel nüansları yakalamakta genellikle başarısız olur. Bu ikilem, karmaşık duygu tanıma mekanizmalarını modellemek için yalnızca kişiye özgü verilerin kullanılmasının doğasında var olan zorlukların altını çizmektedir. Üç Boyutlu (3B) sürükleyici sanal ortamların benzersiz dinamikleriyle başa çıkabilecek özel algoritmalara duyulan ihtiyaç, bu tezde ele alınan bir diğer kritik alandır. Geleneksel İki Boyutlu (2B) duygu tanıma sistemleri, sanal gerçeklik uygulamalarının ayrılmaz bir parçası olan daldırma, mevcudiyet ve derinlik hissini sağlayamamakta ve bu ortamlar için özel olarak uyarlanmış algoritmaların geliştirilmesini gerektirmektedir. Bu zorluklara yanıt olarak tez, EEG verilerini çok modlu EEG dışı girdilerden sentezlemek için tasarlanmış yeni bir Heterojen Çekişmeli Transfer Öğrenme modülünü tanıtmaktadır. Bu modül, kalibrasyon sürelerini önemli ölçüde azaltmakta ve farklı sanal gerçeklik ortamlarında sistemin uyarlanabilirliğini ve performansını artırarak daha çevik ve duyarlı duygu tanıma sistemlerinin önünü açmaktadır. Aynı zamanda tez, çok modlu verileri etkili bir şekilde birleştirmek ve kullanmak için bir Bilgi Damıtma stratejisi uygulamaktadır. Bu yaklaşım, duygu tanıma modellerinin doğruluk ve genelleme yeteneklerini önemli ölçüde geliştirerek onları hem kişiye özel hem de kişiden bağımsız uygulamalar için uygun hale getirmektedir. Bilgi Damıtma yöntemi, hem EEG hem de EEG dışı verilerin güçlü yönlerinden yararlanarak, bireysel varyansları aşarak duygusal durumların daha derinlemesine anlaşılmasını kolaylaştırır. Bu tezde önerilen yenilikçi çerçeve, kişiye özgü senaryolarda hızlı kalibrasyon ve kişiden bağımsız uygulamalarda gelişmiş model genelleştirilebilirliği gibi ikili ihtiyaçları en iyi şekilde karşılamak için Heterojen Çekişmeli Transfer Öğrenme ve Bilgi Damıtma modüllerini entegre etmektedir. Bu çift modüllü kurulum, tezin temel bileşenidir ve duygu tanıma alanında önemli bir ilerlemeyi temsil etmektedir. Bu çerçevenin etkinliği, modellerin yalnızca kontrollü ortamlarda iyi performans göstermekle kalmayıp aynı zamanda gerçek dünya sanal gerçeklik senaryolarına da etkili bir şekilde uyum sağladığını doğrulayan kapsamlı deneysel testlerle gösterilmiştir. Bu sonuçlar, kişiselleştirilmiş terapötik müdahaleler ve uyarlanabilir eğitim sistemleri gibi hızlı ve hassas duygu değerlendirmeleri gerektiren uygulamalar için çok önemlidir. Çekişmeli öğrenme ve bilgi damıtmanın birleşik bir çerçevede bütünleştirilmesi, özellikle sanal ortamlarda duygu tanıma teknolojisinde devrim yaratma potansiyeline sahiptir. Sanal gerçeklikte duygu durumlarını hızlı ve doğru bir şekilde değerlendirme becerisi, kullanıcı etkileşimini ve sistem duyarlılığını artırarak çok çeşitli pratik senaryolarda uygulanabilir hale getirir. Ayrıca bu tez, önerilen modellerin hem 2B hem de 3B ortamlardaki etkinliğinin kapsamlı bir analizini sunmaktadır. Kapsamlı karşılaştırmalar yaparak, bu modellerin geleneksel 2B kurulumlara kıyasla sürükleyici sanal ortamlarda üstün performans gösterdiğini ortaya koymaktadır. Bu analiz sadece önerilen yaklaşımların etkinliğini doğrulamakla kalmıyor, aynı zamanda geleneksel duygu tanıma yöntemleri ile sürükleyici sanal gerçeklik teknolojilerinin gereksinimleri arasındaki boşluğu doldurma potansiyellerini de vurguluyor. Sonuç olarak bu tez, BBA'ların sürükleyici sanal ortamlarda pratik uygulaması için yeni bir ölçüt oluşturan sağlam ve uyarlanabilir bir çerçeve sunmaktadır. Mevcut sistemlerin sınırlamalarını ele alarak ve gelişmiş makine öğrenimi tekniklerinin yeteneklerinden yararlanarak, önerilen çerçeve duygu tanıma alanını önemli ölçüde ilerletmektedir. Bu kapsamlı yaklaşım sadece yüksek değişkenlik ve geçici psikolojik örüntülerin yarattığı zorlukların üstesinden gelmekle kalmıyor, aynı zamanda bu alanda gelecekteki araştırma ve geliştirme için yeni yollar açıyor. Tez, bu bulguların gelecekteki araştırmalar için çıkarımlarına ilişkin bir tartışma ile sona ermekte ve teknoloji ve metodolojideki daha ileri gelişmelerin duygu tanıma sistemlerinin sağlamlığını ve uygulanabilirliğini artırabileceği alanları önermektedir. Bu sistemlerin sanal gerçeklik gibi diğer teknolojilerle entegre edilme potansiyeli de araştırılmış ve insan-bilgisayar etkileşiminde daha bağlantılı ve duyarlı bir gelecek için bir vizyon sunulmuştur. Bu tezin katkılarının, özellikle sanal gerçeklik bağlamında, duygu tanıma alanında kalıcı bir etkiye sahip olması beklenmektedir. Sanal ortamlarda BBA'ların hem teorik anlayışını hem de pratik uygulamalarını geliştirerek, bu çalışma daha kişiselleştirilmiş ve sürükleyici kullanıcı deneyimlerinin önünü açmaktadır. Önerilen modeller, çok çeşitli uygulamalar için duygu tanıma sistemlerinin yeteneklerini daha da iyileştirme ve genişletme potansiyeli ile gelecekteki araştırmalar için umut verici bir yön sunmaktadır.

Özet (Çeviri)

The significance of emotion recognition through physiological signals has been increasingly acknowledged in the context of its applications in diverse fields such as psychology, healthcare, and human-computer interaction. Physiological signals including ElectroEncephaloGraphy (EEG), ElectroMyoGraphy (EMG), ElectroOculoGraphy (EOG), ElectroDermal Activity (EDA), Galvanic Skin Response (GSR), SKin Temperature (SKT), RESPiration (RESP), Blood Volume Pulse (BVP), Heart Rate (HR), and eye movements offer a viable alternative to facial recognition systems in Virtual Reality (VR) environments, where traditional methods fall short due to the obtrusive nature of VR headsets. This has led to a growing interest in utilizing these signals to discern the emotional states of users, thereby enhancing their interaction within virtual environments. Despite the promising prospects of physiological signal-based emotion recognition, there are considerable challenges associated with the development of affective systems. One major issue is the high variability of these signals, which can be influenced by individual-specific factors such as mood and stress levels. This variability necessitates the collection of large amounts of data, which is both time-consuming and costly, making the process tedious and inefficient. Furthermore, psychological patterns are known to be transient, leading to a decline in the performance of classifiers over time and necessitating frequent recalibrations. To mitigate these issues, this thesis proposes the adoption of transfer learning strategies, which have been successful in other domains such as image recognition. Transfer learning allows for the leveraging of pre-existing models and datasets, thereby reducing the need for extensive new data collection and enabling the adaptation of models to new tasks with minimal additional training. This approach not only saves time but also enhances the accuracy and efficiency of emotion recognition systems. One of the focal points of this thesis is the calibration process in current Brain-Computer Interface (BCI) systems, particularly those based on EEG. These systems typically require long calibration times, as they depend heavily on data accumulated across numerous training sessions. This thesis argues for the development of adaptive algorithms that can significantly cut down the calibration time, thereby making BCI systems more practical and accessible for real-world applications. The thesis discusses the distinction between subject-specific and subject-independent models in emotion recognition. Subject-specific models, while offering high accuracy, tend to overfit to limited data, which can severely restrict their generalization capabilities. On the other hand, subject-independent models, which are designed to be more general, often fail to capture individual nuances that are crucial for personalized emotion recognition. This dichotomy underscores the challenges inherent in using subject-specific data alone to model complex emotion-recognition mechanisms. The need for specialized algorithms that can handle the unique dynamics of 3D immersive virtual environments is another critical area addressed in this thesis. Traditional 2D emotion recognition systems do not provide the sense of immersion, presence, and depth that are integral to VR applications, necessitating the development of algorithms that are specifically tailored for these environments. In response to these challenges, the thesis introduces a novel Heterogeneous Adversarial Transfer Learning (HATL) module, designed to synthesize EEG data from multimodal non-EEG inputs. This module significantly reduces the calibration durations and enhances the adaptability and performance of the system across different VR settings, paving the way for more agile and responsive emotion recognition systems. Concurrently, the thesis implements a Knowledge Distillation (KD) strategy to effectively amalgamate and utilize multimodal data. This approach significantly improves the accuracy and generalization capabilities of emotion recognition models, making them suitable for both subject-specific and subject-independent applications. By leveraging the strengths of both EEG and non-EEG data, the KD method facilitates a deeper understanding of emotional states, transcending individual variances. The novel framework proposed in this thesis integrates the HATL and KD modules to optimally address the dual needs of rapid calibration in subject-specific scenarios and enhanced model generalizability in subject-independent applications. This dual-module setup is a core component of the thesis and represents a significant advancement in the field of emotion recognition. The efficacy of this framework is demonstrated through extensive empirical testing, which confirms that the models not only perform well in controlled environments but also adapt effectively to real-world VR scenarios. These results are crucial for applications that require rapid and precise emotion assessments, such as personalized therapeutic interventions and adaptive educational systems. The integration of adversarial learning and knowledge distillation in a unified framework has the potential to revolutionize emotion recognition technology, especially in VR environments. The ability to quickly and accurately assess emotional states in VR enhances user interaction and system responsiveness, making it applicable across a broad range of practical scenarios. Furthermore, this thesis provides a comprehensive analysis of the effectiveness of the proposed models in both 2D and 3D environments. By conducting extensive comparisons, it establishes the superior performance of these models in immersive VR settings compared to traditional 2D setups. This analysis not only validates the effectiveness of the proposed approaches but also highlights their potential to bridge the gap between traditional emotion recognition methods and the requirements of immersive VR technologies. In conclusion, the thesis presents a robust and adaptable framework that sets a new benchmark for the practical application of BCIs in immersive virtual environments. By addressing the limitations of current systems and harnessing the capabilities of advanced machine learning techniques, the proposed framework significantly advances the field of emotion recognition. This comprehensive approach not only overcomes the challenges posed by high variability and transient psychological patterns but also opens new avenues for future research and development in this domain. The thesis concludes with a discussion on the implications of these findings for future research, suggesting areas where further advancements in technology and methodology could enhance the robustness and applicability of emotion recognition systems. The potential for integrating these systems with other technologies, such as mixed reality providing a vision for a more interconnected and responsive future in human-computer interaction. The contributions of this thesis are expected to have a lasting impact on the field of emotion recognition, particularly in the context of VR. By improving both the theoretical understanding and practical applications of BCIs in virtual environments, this work paves the way for more personalized and immersive user experiences. The proposed models offer a promising direction for future research, with the potential to further refine and expand the capabilities of emotion recognition systems for a wide range of applications.

Benzer Tezler

  1. Tez No

    546544

    Emotion aware artificial intelligence for cognitive systems

    Bilişsel sistemler için duygu farkındalıklı yapay zeka

    DEĞER AYATA

    Doktora

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. YUSUF YASLAN

    PROF. DR. MUSTAFA ERSEL KAMAŞAK

  2. Tez No

    377417

    Probabilistic graphical models for brain computer interfaces

    Probabilistic graphical models for brain computer interfaces

    JAİME FERNANDO DELGADO SAA

    Doktora

    İngilizce

    İngilizce

    2014

    Elektrik ve Elektronik MühendisliğiSabancı Üniversitesi

    Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MÜJDAT ÇETİN

  3. Tez No

    852477

    A framework for acquisition, processing and classification of emg signals

    Başlık çevirisi yok

    DENİZ ORKUN EREN

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolUniversity of California Los Angeles

    PROF. JONATHAN KAO

  4. Tez No

    915294

    Fog computing architecture for e-textile applications

    E-tekstil uygulamaları için sis bilişim mimarisi

    KADİR ÖZLEM

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. GÖKHAN İNCE

    DOÇ. DR. ÖZGÜR ATALAY

  5. Tez No

    75059

    Zihinsel ağırlıklı işler için bilişsel görev analizi yöntemi

    Başlık çevirisi yok

    NİLGÜN YAPICIOĞLU FIĞLALI

    Doktora

    Türkçe

    Türkçe

    1998

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    PROF. DR. AHMET F. ÖZOK

Geri Dön