Design of an emotion recognition system using machine learning for maritime operations: Development of a cognitive interface with psychophysiological data analysis
Denizcilik operasyonları için makine öğrenmesiyle duygu tanıma sistemi tasarımı: Psikofizyolojik veri analiziyle bir bilişsel arayüzün geliştirilmesi
- Tez No: 886720
- Danışmanlar: PROF. DR. LEYLA TAVACIOĞLU, PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Denizcilik, Psikoloji, Computer Engineering and Computer Science and Control, Marine, Psychology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Denizcilik Çalışmaları Ana Bilim Dalı
- Bilim Dalı: Denizcilik Çalışmaları Bilim Dalı
- Sayfa Sayısı: 209
Özet
Denizcilik sektörü, dijitalleşme sürecinde yeni siber tehditlerin ortaya çıkması ve insan faktörlerinin etkisinin artmasıyla birlikte köklü bir dönüşüm yaşamaktadır. Bu araştırma, operasyonel ve siber güvenlik zorluklarını ele almak amacıyla denizcilik personelinin bilişsel durumlarını izlemeye yönelik makine öğrenmesi destekli bir duygu tanıma sistemi geliştirmektedir. Çalışma, kalp atış hızı değişkenliği, elektrodermal aktivite, EEG (Elektroensefalogram), GSR (Galvanik Cilt Tepkisi) ve göz izleme sistemleri gibi psikofizyolojik verileri kullanarak duygusal durumları doğru bir şekilde sınıflandırmaktadır. Ayrıca, öz bildirime dayalı anksiyete anketleri kullanılarak duygusal durumlar ve anksiyete seviyeleri arasındaki ilişki araştırılmıştır. Uyarılma ve hoşnutluk üzerine detaylı bir analiz yapılmış, duygular yüksek uyarılma pozitif hoşnutluk, yüksek uyarılma negatif hoşnutluk, düşük uyarılma negatif hoşnutluk ve düşük uyarılma pozitif hoşnutluk olmak üzere dört kadrana ayrılmıştır. Bu yaklaşım, denizcilik personelinin duygusal durumlarını ve performans ile karar verme üzerindeki etkilerini daha iyi anlamayı sağlamaktadır. Çalışmanın birincil hedefi, çeşitli makine öğrenmesi teknikleri (Random Forest, SVM, KNN, Lojistik Regresyon, Gradient Boosting, AdaBoost ve LGBMClassifier) kullanılarak kesin ve güvenilir bir duygu tanıma modeli oluşturmaktır. Sonuçlar, LGBMClassifier'ın %62 doğruluk oranı ile en yüksek başarıyı elde ettiğini ve sınıf 3 duyguları için 0.60 F1 skoru ile en iyi performansı gösterdiğini ortaya koymuştur. Özellik önem analizi, Alfa, Beta ve Gama beyin dalgalarının yanı sıra HRV ve GSR'nin duygusal durumların önemli öngörücüleri olduğunu göstermiştir. Bulgular, duygusal durumlar ve anksiyete seviyeleri arasında net bir korelasyon olduğunu göstermektedir. Pozitif duygular daha düşük anksiyete seviyeleri ile, negatif duygular ise daha yüksek anksiyete seviyeleri ile ilişkilidir. Bu bulgular, olumlu duygusal deneyimlerin teşvik edilmesinin ruh sağlığını iyileştirmedeki önemini vurgulamaktadır. Bu bulguları bir araya getiren kapsamlı bir bilişsel arayüz, gerçek zamanlı olarak durumsal farkındalığı ve karar verme süreçlerini iyileştirmektedir. Bu çerçeve, riskli durumları tanımaya ve yanıt vermeye yardımcı olarak güvenlik, performans ve siber güvenlik sonuçlarını iyileştirmektedir. Çalışmanın katkıları, denizcilik operasyonlarında duygu yönetimini devrim niteliğinde değiştirerek giderek dijitalleşen ve birbirine bağlı hale gelen bu sektörde daha güvenli ve dirençli uygulamaların yolunu açmaktadır. Bu bulguları bir araya getiren kapsamlı bir bilişsel arayüz, durumsal farkındalık ve karar verme yeteneklerini gerçek zamanlı olarak geliştirir. Bu çerçeve, riskli durumları tanımaya ve yanıt vermeye yardımcı olarak güvenlik, performans ve siber güvenlik sonuçlarını iyileştirir. Çalışmanın katkıları, denizcilik operasyonlarındaki duyguların yönetimini devrim niteliğinde değiştirerek giderek dijitalleşen ve birbirine bağlı hale gelen bu sektörde daha güvenli ve dirençli uygulamaların yolunu açar.
Özet (Çeviri)
The maritime sector is experiencing a profound shift towards digitization, which introduces new cyber threats and heightens the impact of human factors. This research develops an emotion recognition system powered by machine learning aimed at monitoring the cognitive states of maritime personnel to address both operational and cybersecurity challenges. The study leverages psychophysiological data including heart rate variability, electrodermal activity, EEG (Electroencephalogram), GSR (Galvanic Skin Response), and eye-tracking systems to classify emotional states accurately. Additionally, self-reported anxiety surveys were utilized to explore the relationship between emotional states and anxiety levels. A detailed analysis of arousal and valence was conducted, categorizing emotions into four quadrants: high arousal positive valence, high arousal negative valence, low arousal negative valence, and low arousal positive valence. This approach enhances the understanding of the emotional states of maritime personnel and their impact on performance and decision-making. The primary objective is to create a precise and dependable emotion recognition model through the application of various machine learning techniques such as Random Forest, SVM, KNN, Logistic Regression, Gradient Boosting, AdaBoost, and LGBMClassifier. The results showed that the LGBMClassifier achieved the highest accuracy of 62%, with an F1-score of 0.60 for class 3 emotions. Feature importance analysis revealed that Alpha, Beta, and Gamma brainwaves, along with HRV and GSR, were significant predictors of emotional states. The findings indicate a clear correlation between emotional states and anxiety levels. Positive emotions are linked to lower anxiety levels, while negative emotions correlate with higher anxiety levels. These insights underline the importance of fostering positive emotional experiences to enhance mental well-being. A comprehensive cognitive interface integrates these findings, enhancing situational awareness and decision-making in real-time. This framework helps recognize and respond to risky states, improving safety, performance, and cybersecurity outcomes. The study's contributions revolutionize emotion management in maritime operations, paving the way for safer, more resilient practices in an increasingly digital and interconnected industry.
Benzer Tezler
- Eğitsel videolarda makine öğrenmesi temelli duygu durum analizinin duygu ölçümlenmesi ve başarı açısından incelenmesi
An investigation of machine learning based mood analyses in educational videos in terms of emotion measurement and achievement
ALİ BATUHAN YILDIZ
Yüksek Lisans
Türkçe
2024
Eğitim ve ÖğretimMersin ÜniversitesiBilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
PROF. DR. SERKAN ŞENDAĞ
DOÇ. DR. SACİP TOKER
- TV ve set üstü cihaz arayüz kullanılabilirlik ölçümü
Usability evaluation of TV and set-top box interfaces
AYCAN PEKPAZAR
Doktora
Türkçe
2021
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÇİĞDEM ALTIN GÜMÜŞSOY
- Mood analysis of employees by using image-based data
Görüntü tabanlı veri kullanarak çalışanların duygu analizi
ÖZGÜR DENİZ GÜNSELİ
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDokuz Eylül ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SEMİH UTKU
- Music emotion recognition: A multimodal machine learning approach
Müzik duygusu tanıma: Çok-modlu makine öğrenmesi yaklaşımı
CEMRE GÖKALP
Yüksek Lisans
İngilizce
2019
Bilim ve TeknolojiSabancı ÜniversitesiYönetim Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AHMET ONUR DURAHİM
DOÇ. ABDULLAH DAŞCI
- Nöropazarlama uygulamaları için EEG sinyallerinin analizi ile beğeni durum tespiti
Recognition of preferences with analysis of EEG signals for neuromarketing applications
BURAK CEYLAN
Doktora
Türkçe
2024
Biyomühendislikİstanbul Üniversitesi-CerrahpaşaBiyomedikal Mühendisliği Ana Bilim Dalı
PROF. DR. FIRAT KAÇAR
PROF. DR. AYDIN AKAN