Geri Dön

Fog computing-based real-time emotion recognition using physiological signals

Fizyolojik sinyaller ile sis hesaplama tabanlı gerçek zamanlı duygu tanıma

PDF İndir

  1. Tez No: 920749
  2. Yazar: ÖMÜR FATMANUR ERZURUMLUOĞLU
  3. Danışmanlar: DOÇ. DR. GÖKHAN İNCE
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 96

Özet

Duygu tanıma, duygusal hesaplama (affective computing) ve insan-bilgisayar etkileşiminin alanları için önemli bir araştırma konusudur. Duygu tanuma probleminin çözümü için ElektroEnsefaloGrafi (EEG), ElektroKardiyoGrafi (ECG), ElektroMiyoGrafi (EMG), solunum ve Galvanic Skin Response (GSR) gibi fizyolojik sinyaller, yüz, jest veya konuşma sinyallerine kıyasla daha güvenilirdir. Çünkü bu sinyaller kişi tarafından kontrol edilemez, subjektif olup, gürültü gibi dışsal faktörlerden etkilenmezler. Ek olarak, gürültülü ortamlarda konuşma sinyali genellikle etkisizdir ve dil engelleri kullanışlılığını daha da sınırlar. Ayrıca, kamera tabanlı yöntemler, özellikle gizlilik ihlalleri açıktır. Sürekli iç mekan izleme içeren sistemlerde önemli güvenlik endişeleri yaratır. Video verileri fizyolojik sinyallere kıyasla daha fazla depolama ve işleme kaynağı gerektirir. Bu nedenle, fizyolojik veriler yalnızca duygu tanıma için daha nesnel ve tutarlı bir temel sağlamakla kalmaz, aynı zamanda işlenmesi de daha güvenli ve verimlidir. Duygu tanıma sistemi, akıllı evler, işyerleri, eğitim, sağlık hizmetleri ve eğlence gibi alanlarda çoklu kullanıcıların duygusal durumlarını gerçek zamanlı olarak izlemek için kullanılabilmektedir. Akıllı evler için, duygu tanıma sistemi, evin genel duygusal durumuna göre aydınlatma, müzik ve diğer çevresel unsurları değiştirerek aile üyeleri için uygun ortamı sağlayabilmek üzere entegre edilebilir. Bu sistem, eğitmenlerin öğretim stratejilerini öğrencilerin duygu durumlarına göre ayarlamalarına yardımcı olabilir. Hastanelerde, duygu tanıma sistemi, sağlık çalışanlarının birden fazla hastanın duygusal durumlarını aynı anda izlemelerine, anında uyarılar almalarına ve zamanında müdahaleler sağlamalarına olanak tanıyabilir. Eğlence sektöründe ise, oyunların zorluğunu oyuncunun duygularına göre ayarlama ve o anki duygu durumuna bağlı içerikler önerme üzerine kullanılabilir. Bu çalışmada fizyolojik sinyaller kullanarak gerçek zamanlı duygusal tanıma için sis bilişim mimarisi geliştirilmiştir. Bu mimarinin sensörlerden fizyolojik sinyaller alması ve karşılık gelen duyguyu belirlemek için tahmin modelleri kullanarak bunları işlemesi gerekir. Nesnelerin İnterneti teknolojisi ile bir duygu tanıma sistemini oluşturmak güçlü hesaplama kaynakları gerektirir. Bu nedenle, mevcut çalışmalar bulut ve kenar bilişim mimarilerinin hesaplama kaynaklarından faydalanmaktadır, ancak sis bilişiminin ölçeklenebilir ve gerçek zamanlı uygulamalar için kullanılabilirliğine dair bir boşluk bulunmaktadır. Bu çalışma, sis bilişimini entegre ederek önerilen sistemin verimliliğini artırma amacını gütmektedir. Ayrıca, sensörlerden buluta olan mimariler, gecikme, yüksek bant genişliği gereksinimleri ve güvenlik endişeleri gibi zorluklarla karşı karşıya kalmaktadır. Uç bilişim, düşük bant genişliği ve gecikme sunmasına rağmen sınırlı programlanabilirlik, çok kullanıcılı sistemler için ölçeklenebilirlik endişeleri ve hizmet yönetimindeki zorluklar gibi çeşitli zorluklar sebebiyle önerilen sistemimiz için uygun değillir. Öte yandan, sis bilişimi, veriyi kaynağına daha yakın işleyerek düşük gecikme, gelişmiş güvenlik, ölçeklenebilirlik ve verimli kaynak kullanımı sağlar. Ayrıca, çoklu kullanıcıların duygu tanıma sistemleri için güvenilir ve gerçek zamanlı bir performans sunar. Araştırmada 23 katılımcının datasının bulunduğu DREAMER veri seti kullanılmıştır. Veri seti katılımcılar çeşitli duygusal videoları izlerken kaydedilen EEG ve EKG sinyallerini içerir. EEG ve EKG sinyalleri 3 saniye uzunluğunda pencerelere ayrılmıştır. Bir pencereden diğer pencereye veri 1 saniye kaydırılmıştır. Elde edilen pencereler ön işleme tabi tutulmuş ve sinyallerden 36 zaman tabanlı istatistiksel özellik çıkarılmıştır. EEG ve EKG sinyallerinden elde edilen bu özellikler, özellik düzeyinde birleştirilerek 576 özelliğe sahip bir veri seti elde edilmiştir. Veri seti, makine öğrenimi modellerini eğitmek ve test etmek üzere eğitim ve test setlerine ayrılmıştır. Duygu tahmin etmek için sekiz makine öğrenimi modeli kullanılmıştır. Doğruluk, hatırlama, hassasiyet ve F1 skoru metriklerine göre Light Gradient Boosting Machine (LGBM) modeli en iyi performansı sergilemiştir. Modeller, gerçek zamanlı kullanım için tasarlandığından, tek bir veri örneğini tahmin etme süresi de göz önünde bulundurulmuştur. LGBM modeli, kabul edilebilir bir tahmin süresiyle en yüksek doğruluğu sağlamaktadır. Bu sonuçlar göz önüne alındırğında, LGBM model gerçek zamanlı sistemimiz için tercih edilen seçenektir. Bu modelin işçi ve bulut cihazlarındaki tahmin süreleri sırasıyla 7.26 ms ve 2.85 ms, doğruluğu ise % 85.27'dir. 576 özellik, önem derecelerine göre sıralanmıştır. Özellik sayısı arttırılarak seçilen model eğitilip test edilmiştir. Bu test 4 özellik ile başlayıp 4 er 4 er artarak yapılmıştır. Özellik sayısı değiştikçe doğruluk değişimleri analiz edilmiş ve 44 özellikten sonra doğruluğun yaklaşık % 85 seviyesine ulaştığı gözlemlenmiştir. Maksimum doğruluk olan % 86.25, 136 özellik kullanılarak elde edilmiştir ve bu sistem 61.01 ms'lik ortalama yanıt süresine sahiptir. Ancak, gerçek zamanlı sistemler için kaynak kullanımı ve zaman performansı gereksinimlerini göz önünde bulundurulduğunda sistem 48 özellik kullanacak şekilde yapılandırılmıştır ve % 84.85 doğruluk ile ortalama yanıt süresinde % 33'lük bir azalma elde edilmiştir. Duygu tanıma süreci her saniye çalışmakta ve yaklaşık 40.99 ms sürmektedir. 48 özellik kullanan önceden eğitilmiş bir makine öğrenimi modeli, sis bilişim mimarisine entegre edilerek gerçek zamanlı duygu tahmini için kullanılmıştır. Bulut, aracı ve işçi düğümlerinden oluşan bir sis bilişim mimarisi, veri işleme görevlerini verimli bir şekilde yönetmek için tasarlanmıştır. Mimari bileşenlerinin tamamı, önceden eğitilmiş modeli kullanılarak gerçek zamanlı senaryolarda test edilmiştir. Birim performansları, gecikme, kuyruklama gecikmesi, jitter, toplam yanıt süresi ve kaynak kullanımı gibi metriklere göre değerlendirilmiştir. Sonuçlar, bir işçi düğümünün, düşük gecikme, kuyruklama gecikmesi ve en önemlisi toplam yanıt süresi ile hesaplama görevlerini verimli bir şekilde yerine getirebileceğini göstermektedir. Duygu tanıma için bir kullanıcı her saniye istek yapmaktadır ve tüm işlem yaklaşık 40 ms sürmektedir. Bu işlem içinde 4 ms'lik bir gecikme ve 33 ms'lik bir yürütme süresi bulunmaktadır. Sonuçlar sis bilişiminin, kenar ve bulut bilişim üzerine üstünlüğünü kanıtlamaktadır. Ayrıca sis bilişim sistemimiz, fizyolojik sinyallerden gerçek zamanlı özellik çıkarımı konusunda mevcut çalışmaları geride bırakmakta ve sis mimarimizin, gerçek zamanlı duygu tanıma sistemi için uygun olduğunu doğrulamaktadır. Sistemin çoklu kullanıcı ortamındaki ölçeklenebilirliği ve kullanılabilirliği de değerlendirilmiştir. Bulut, aracı ve işçi cihazları sırasıyla 11, 5 ve 6 kullanıcıya kadar destek sağlayabilir. Tek bir işçi cihazı, buluta kıyasla daha az kullanıcıya hizmet edebilse de, bu problem sis mimarisine birden fazla işçi cihazı eklenerek çözülebilir. Bu cihazların maaliyeti düşüktür. Ayrıca, işçi cihazında veri işleme için birden fazla işlem kullanılabilir. Bu yöntem çoklu kullanıcı kapasitesini artırır ve 6 işlemle yapılandırılmış bir işçi cihazı, 11 kullanıcıya kadar hizmet verebilir. Birden fazla işçi cihazı kullanarak oluşturulan sis mimarisi de değerlendirilmiştir. Stres testleri, sistemin 3 işçi cihazıyla 38 kullanıcıya kadar ölçeklendirilebileceğini ortaya koymuştur. Çalışmanın bulguları, sis bilişiminin gerçek zamanlı duygusal tanıma için etkinliğini vurgulamaktadır. Üç temel bulgu öne çıkmaktadır. Birincisi, LGBM modeli % 85.27 doğruluk ve işçi cihazı için ortalama tek bir örnek tahmin süresi 7.26 ms ile en iyi performansı sergilemiştir. İkinci olarak, sis bilişimi bulut tabanlı mimarilere kıyasla gecikmeyi ve yanıt süresini önemli ölçüde azaltmıştır. Ve son olarak, 3 işçi düğümü ve 6 işlem yapılandırmasıyla sistem 38 kullanıcıya kadar görece sabit 40 ms'lik bir yanıt süresi ile hizmet verebilir. Kaynak kullanımının optimize edilmesiyle sis düğümleri hesaplama yüklerini etkili bir şekilde dağıtarak darboğaz problemini önlemiştir. Bir kullanıcı, gerçek zamanlı duygu tanıma sistemine bağlandığında, sis mimarisi içinde bir işçi düğümündeki bir işleme atanır. Kullanıcının fizyolojik sinyalleri, işçiye iletilir ve işçinin arabelleğine eklenir. Arabellek her saniye 32 kez veri alır ve 3 saniyelik veri içerdiğinde, duygu tanıma süreci başlar. Sistem, her saniye 32 veri akışı aldıkça, eski veriler silinir ve yeni veriler arabelleği doldurur. Böylece arabellek her zaman 3 saniyelik veri tutar. Her saniye, sistem bu 3 saniyelik veri arabelleğini kullanarak kullanıcının mevcut duygusunu tanımlar ve tahmin edilen duyguyu kullanıcıya gönderir. Bu süreç, mevcut yapılandırmalar ile yaklaşık 40 ms sürmektedir. Çalışma, sis bilişim yapısının, fizyolojik sinyallerden gerçek zamanlı duygu tanıma problemi için uygulanabilir bir çözüm olduğunu göstermektedir. Sis bilişiminin çoklu işçiler ve çoklu işlemciler ile geliştirilebileceği gösterilmiştir. Bu yöntemler kullanarak çoklu kullanıcı ortamları için verimliliği arttırılmıştır. Ayrıca sis mimarisi, düşük ortalama yanıt süresi ve yüksek doğruluk arasında bir denge sağlamaktadır. Tasarlanan ve gerçekleştirilen bu sistem özellikle eğitim kurumları, işyerleri, akıllı evler, sağlık tesisleri gibi aynı kullanıcıların duygusal verilerinin işlenebileceği ortamlar için uygundur. Bu çalışmayla ilgili olarak henüz keşfedilmemiş birkaç araştırma alanı bulunmaktadır; hesaplama kaynaklarının optimize edilmesi, veri setinin ve duygu sınıflarının genişletilmesi, önerilen sistemin pratik kullanılabilirliğini değerlendirmek için gerçek dünya denemelerinin yapılması ve daha büyük veri setleriyle sis hesaplama çerçevesi içerisinde derin öğrenme modellerinin uygulanması.

Özet (Çeviri)

Emotion recognition plays a pivotal role in affective computing and human-computer interaction, with physiological signals such as ElectroEncephaloGram (EEG), ElectroCardioGram (ECG), ElectroMyoGram (EMG), respiration, and Galvanic Skin Response (GSR) are more reliable indicators of emotions. Unlike facial expressions, gestures, or speech signals, these physiological signal measures offer greater consistency in detecting emotions. This reliability arises from their reduced susceptibility to subjectivity and external factors, such as environmental noise and language barriers. There are numerous uses for emotion recognition to monitor multi-user emotional states simultaneously in real-time such as smart homes, workplaces, education, healthcare, and entertainment. For smart homes, emotion recognition may be integrated to provide automation for family members by modifying lighting, music, and other environmental elements according to the overall emotional states of the households. For workplace wellness, employers may have obtained the ability to track the health of many employees, recognizing signs of stress and tiredness; thus, they can take timely actions for a healthier work environment. In educational settings, emotion recognition can provide educators with insights into student engagement and understanding for groups of students. That helps educators adjust their teaching strategies to suit the demands of each class and improves the quality of the learning process overall. In a clinical setting, emotion recognition can help healthcare professionals to monitor the emotional states of multiple patients simultaneously, receiving immediate alerts and providing timely interventions. In the entertainment industry, especially in multi-player gaming and virtual reality environments, emotion recognition may enhance the experience by adapting environmental settings to the emotional states of individual users in real time while ensuring low latency and high performance. This study explores the implementation of fog computing for real-time emotion recognition using physiological signals. Implementing an emotion recognition system in the Internet of Things (IoT) requires powerful computational resources. Therefore, existing studies highlight the potential of cloud and edge computing architectures for emotion recognition but reveal a gap in leveraging fog computing for scalable, real-time applications. Building on these insights, this study integrates fog computing to improve latency, response time, and scalability efficiency. Hence, sensor-to-cloud architectures face challenges like latency, high bandwidth requirements, and security concerns. Fog computing provides low latency, enhanced security, scalability, and efficient resource utilization by processing data closer to its source, ensuring reliable real-time performance for multi-user emotion recognition systems. The research adopts a comprehensive methodology, starting with the use of the DREAMER dataset, which contains EEG and ECG signals recorded from 23 participants under various emotional stimuli. Signals in the dataset were segmented into 3-second windows with a 2-second overlap. Then, the data in the windows were preprocessed, and 36 time-based statistical features were extracted from the signals. By merging the features obtained from 2-channel ECG and 14-channel EEG signals, a data vector of 576 features was obtained for each sample. The dataset was divided into training and testing sets to train and evaluate the machine learning models. Eight machine learning models are employed to predict emotions. Based on accuracy, recall, precision, and F1 score metrics, the Light Gradient Boosting Machine (LGBM) model demonstrated the best performance. Since the models are designed for real-time use, the inference time for a single sample was measured. The LGBM model provided the highest accuracy with an acceptable prediction time, making it the preferred choice for the proposed real-time system. The LGBM model's inference times on the worker and cloud devices were 7.26 ms and 2.85 ms with an accuracy of 85.27 %. Accuracy variations were analyzed as the number of features changed, and accuracy plateaued at around 85 % after 44 features were used. The maximum accuracy of 86.25 % was achieved using 136 features, resulting in an average response time of 61.01 ms. However, considering resource utilization and time performance requirements for real-time systems, the system was configured to use 48 features, yielding 84.85 % accuracy with a 33 % reduction in processing time. In the proposed system, the emotion recognition process runs every second and takes about 40 ms. This pre-trained machine learning model, based on 48 physiological signal features, was integrated into the fog computing architecture, allowing for real-time emotion recognition. A fog computing architecture is designed, comprising cloud, broker, and worker nodes, to manage data processing tasks efficiently. All computation unit components of the architecture were tested in real-time scenarios using the pre-trained model. Unit performances were evaluated based on metrics such as latency, queuing delay, jitter, total response time, and resource usage, with experimental results showing that a worker node can efficiently handle computational tasks. Overall, the emotion recognition procedure begins every second and takes approximately 40 ms, including 4 ms of latency and 33 ms of execution time. Therefore, the results demonstrate fog computing's superiority over edge and cloud computing. The proposed fog computing system also outperforms existing studies in response time for real-time feature extraction from physiological signals, confirming that the fog architecture is well-suited for a real-time emotion recognition system. The system's scalability and usability in a multi-user environment were also assessed. Cloud, broker, and worker devices supported up to 11, 5, and 6 users, respectively. Although the single worker device could serve fewer users than the cloud, the fog architecture addressed this by issue incorporating multiple, cost-effective worker devices. Furthermore, using multiple processes for data processing on the worker device enhanced multi-user capacity with an optimal configuration of 6 processes allowing a worker device to serve up to 11 users. The fog architecture, utilizing multiple workers, was also evaluated. Stress tests revealed that the system can scale to accommodate 30 users with 3 worker devices. The study's findings highlight the effectiveness of fog computing in real-time emotion recognition. There are three key results including that the LGBM model achieved the highest accuracy of 85.27 % and mean single inference time of 7.26 ms for worker device, outperforming other machine learning models. The second key result is that fog computing significantly reduced latency and response time compared to cloud-based architectures, ensuring faster processing of physiological signals. Lastly, the system with 3 worker nodes and a 6-process configuration demonstrated scalability, handling up to 30 users with stable response times of approximately 40 ms. Resource utilization was optimized, with fog nodes distributing computational workloads effectively to avoid bottlenecks. Several research areas remain unexplored in this study such as optimizing computational resources, expanding the dataset and emotion classes, conducting real-world experiments to assess the practical usability of the proposed system, and implementing deep learning models within the fog computing framework using larger datasets.

Benzer Tezler

  1. Tez No

    787173

    Makine öğrenmesi tabanlı gerçek zamanlı medikal nesnelerin interneti çerçevesinin geliştirilmesi

    Development of machine learning-based real-time medical internet of things framework

    EMRE YILDIRIM

    Doktora

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDüzce Üniversitesi

    Elektrik-Elektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ALİ ÇALHAN

  2. Tez No

    915294

    Fog computing architecture for e-textile applications

    E-tekstil uygulamaları için sis bilişim mimarisi

    KADİR ÖZLEM

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. GÖKHAN İNCE

    DOÇ. DR. ÖZGÜR ATALAY

  3. Tez No

    634354

    Workload orchestration for multi-tier multi-access edge computing systems

    Çok katmanlı çoklu erişimli kenar bilişim sistemleri için yük orkestrasyonu

    ÇAĞATAY SÖNMEZ

    Doktora

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. CEM ERSOY

    DR. ÖĞR. ÜYESİ BAHRİ ATAY ÖZGÖVDE

  4. Tez No

    933680

    An effective mechanism for fog computing assisted function based on trustworthy forwarding scheme in internet-of-things (IoT)

    Nesnelerin internetinde (IoT) güvenilir iletim şemasına dayalı sis bilgisayar destekli fonksiyonu için etkili bir mekanizma

    FATIMAH MOHAMMED HAMEED HAMEED

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş Üniversitesi

    Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. SEFER KURNAZ

  5. Tez No

    958547

    Nesnelerin interneti ve makine öğrenmesi ile jar testi sürecinin optimizasyonu

    Optimization of the jar testing process with the internetof things and machine learning

    FERDİ AKINCI

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDüzce Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ENVER KÜÇÜKKÜLAHLI

Geri Dön