Machine learning-enabled stress detection in children using physiological signals during robot assisted therapy
Çocuklarda makine öğrenmesi ile desteklenmiş robot ile yapılan terapi sırasında fizyolojik sinyallerle stres tespiti
- Tez No: 864205
- Danışmanlar: PROF. DR. HATİCE KÖSE
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Eğitimi Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 79
Özet
İnsan sürekli çevreyle etkileşim halindedir, içinde bulunduğu ortam ve olaylar kişiyi farklı duygu durumlarına dahil edebilmektedir. Günlük yaşamın önemli bir bileşeni olan duygu durumlarından bazıları ise insanın sağlığını kötü yönde etkileyebilmektedir. Bu duyguların başında stres gelmektedir. Stres kişilerin günlük yaşam kalitesini düşürmektedir, sürekli hale geldiği durumlarda ise mental ve fiziksel sorunlara sebep olmaktadır. Bu sebeple stres ve duygu tespiti amacıyla literatürde laboratuvar ve doğal yaşam ortamında farklı yöntemlerle çalışmalar yapılmıştır. Çalışmalarda genel olarak giyilebilir teknolojilerden yardım alınmıştır, testlerde ise farklı duygu hissiyatı tetiklenebilecek ortamlar oluşturulmuştur. Test ortamları oluşturulmasında görsel ve işitsel bileşenler kullanılmıştır. Literatürdeki stres ve duygu tespiti çalışmaları çoğunlukla yetişkin bireylerde yapılmıştır, çocuklarla ilgili yayınlanan bir veriseti bulunmamaktadır. WESAD (Wearable Stress and Affect Detection), DEAP gibi yetişkinlerin verilerinin bulunduğu datasetler bulunmaktadır. Bu datasetlerde yetişkinlere bazı stres duygusunu aktifleştirecek etkinlikler yaptırılıp o anki verileri stresli olarak işaretlenmektedir. Bu stress etkinlikleri, toplu alanda sunum yapma mental aritmetik vb. etkinliklerdir. Genel olarak duyguları tetiklemek için video klip ve görseller kullanılmaktadır. Stres - duygu tespiti çalışmaları sağlık, pazarlama, reklamcılık, insan makine-robot etkileşimi gibi konularda sıklıkla kullanılmaktadır. Robotların insanlarla etkileşime girmesi sebebiyle, sosyal davranış sergileyen robotlar için duygu tespitini giderek daha önemli hale getirmektedir. Otizm Spektrum Disorder (OSD) sendromuna sahip çocukların duygu aktarım metabolizması tipik gelişim gösteren çocuklara göre farklıdır. OSD'li bireyler özellikle çocuklar, duygularını ifade etmekte zorlanırlar. Bazı görsel duygu algılama sistemleri yetişkinlerde yüksek doğruluk oranlarında çalışırken bu sistemler otizmli çocuklarda beklenilen doğrulukta çalışamazlar. Bunun sebebi otizmli çocukların duygularını tipik gelişimli çocuklar gibi ifade edememesidir. Bu sebeple görsel sistemlerdense stres ve duygu durumlarının otomatik olarak etkilediği fizyolojik bileşenlerin stres analizinde etkin rol oynadığı belirtilmektedir. Çevre koşullara uyum sağlanması ve günlük yaşamına devam edebilmesi amacıyla OSD'li bireylerle Robotlu terapi seansları gerçekleştirilmektedir. Bu terapi sistemlerinin amaçları OSD'li çocukları doğal yaşam aşamalarına alıştırmak ve günlük hayatta kendilerini daha iyi ifade edebilmelerini sağlamaktadır. Tasarlanan sosyal robotlarla birlikte insanlarla iletişim gerçekleştiren robotların, sosyal farkındalık göstermesi ve karşısındaki kişisin psikolojik durumuna göre hareketlerini şekillendirebilmesi gerekmektedir. Bu amaç doğrultusunda fizyolojik verilerden duygu tahimini önemli bir konuma sahiptir.“Otizmli çocuklar için bir müdahale aracı olarak sosyal yardımcı robotlarda duygusal döngü (EMBOA)”isimli Erasmus projesi araştırma projesi tez konularından biridir. Çalışmanın amacı OSD'li çocuklarla rehabilitasyon sürecinde robotları kullanarak çalışmalar gerçekleştirmektir. EMBOA projesi kapsamında OSD'li çocuklarda yapılan robotla terapi seansları sırasında, giyilebilir akıllı saatler yardımıyla fizyolojik veriler kayıt altına alınmıştır. Empatica E4 bilekliği kullanılmıştır, bileklik yardımıyla birçok fizyolojik veri kaydı alınmıştır. Sürekli değişmekte olan çevre koşullarına uyum sağlamak için hücreler Otonom Sinir Sistemi tarafından kontrol altında olan biyolojik bazı geri bildirimler kullanır. Otonom Sinir Sistemi vücut içindeki homeostazı (dengeyi) korumak için hücrelerin tepkilerini düzenler. Bu fizyolojik veriler Elektrodermal Aktivite (EDA), Kan Hacmi Nabzı (BVP), Deri Sıcaklığı (ST) gibi bileşenlerdir. EDA deri yüzeyine temas eden özel sensörlerle ölçülmektedir stres sonucu ortaya çıkan ter bezleri aktivitesi elektriksel iletkenliği arttırır ve ilgili bileşende bir değişim meydana getirir. BVP, sensörü kızılötesi ışıkla geçen kan hacmini ölçerek kalp atışlarını tespit edilerek elde edilmektedir. BVP'den kalp atış hızı ve kalp atış hızı değişkenliğini (HRV) hesaplanabilmektedir. Empatica E4 bilekliği içerisinde tüm bu fizyolojik verileri kaydetmek için çeşitli sensörler içermektedir. Bu sensörlerin farklı örnekleme frekansı bulunmaktadır. EDA ve ST 4 Hz, BVP 64 Hz örnekleme frekansına sahiptir. Çalışma uluslararası bir kapsamdadır. 4 ülke katılım sağlamıştır. Bu ülkeler Polonya, Makedonya, Ingiltere ve Türkiye'dir. Toplamda 65'ten fazla OSD'li çocuktan kayıtlar alınmıştır. Çalışmalar belirli zaman aralığından birden fazla oturumla gerçekleştirilmiştir. Sosyal robot olarak Kaspar kullanılmıştır. Kaspar 55 cm yüksekliğinde ve 45 cm genişliğinde olan insansı bir robottur. Çoğunlukla çocuklar olmak üzere insanlarla oturur pozisyonda etkileşime girmektedir. Çevresini algılamak ve etkileşime geçmek için gömülü 2D kameralar, dokunmatik sensörler ve mikrofonlar bulunmaktadır. Silikon yüze sahip olan robot, basit ifade özelliklerine sahip ve farklı duygu durumlarını gösterebilmektedir. Otizmli çocuklar için robot destekli terapi ve sosyal robotik çalışmaları için kullanıldı. Kaspar bir sosyal aracı olarak kullanılabilmekte ve çocukların çevreleriyle daha iyi etkileşim ve iletişim kurmasına, temel duyguları keşfetmesine ve tanımasına, sosyal olarak kabul edilebilir dokunsal etkileşimi öğrenmesine ve taklit, işbirliği becerileri gibi temel sosyal becerileri öğrenmesine yardımcı olmaktadır. Boyut olarak da çocuk boyutlarına yakın olduğundan dolayı çocuklar tarafından kolaylıkla oyun arkadaşı olarak kabul edilebilmektedir. EMBOA projesi kapsamında çocuklarla çeşitli çalışmalar yürütülmüştür. İlk çalışmamız EMBOA projesi ile OSD'li çocuklarla robotla terapi süresince kayıt altına alınan verilerle yapılmıştır. Yetişkin verilerinde duygu değişimleri kişilere farklı görevler verilerek etiketleme ve anketler ışığında yapılmaktadır, bu durum OSD'li çocuklarda yapılamadığı için Erasmus projesiyle katılım sağlayan okulların topladığı verilerde etiket bulunmamaktadır. Bu sebeple ilk aşama olarak bu verilerle literatürdeki araştırmalar sonucu elde edilen veriler ile değerlendirmeler yapılmıştır. Sinyal analizleri ve filtrelemeleri sağlanmış ve özellik çıkarımları yapılmıştır. Tüm verilerden toplamda 63 adet özellik çıkarımı yapıştır. Yapılan çalışmalardaki stres belirten özellikler araştırılmış ve EDA'ya bağlı olarak çıkartılan EDA peak sayısının duygu durum değişiminde önemli belirteçlerden olduğu tespit edilmiştir. Bu bilgiler ışığında çocukların farklı robotlarla terapi seanslarındaki değişimleri incelenmiştir. Ayrıca farklı ülkelerdeki farklı yaş gruplarındaki çocuklar için fizyolojik verileriyle yaş gruplarının ilişkisi incelenmiştir. ANOVA ve T-test istatistiksel analiz yöntemi kullanarak analizler yapılmıştır. Grupların birbirinden ayırt edici olan özellikleri belirlenmiştir. Özellik seçim çalışmasında fizyolojik sinyallerden çıkarılan özellikler (2 dakikalık bölümler) kullanıldı. Toplanan ham sinyaller, özellik çıkarma adımından önce filtrelendi ve normalleştirildi. Her segment için BVP için 7680 x 1 ve EDA ve ST için 480 x 1 vektörleri elde edildi. BVP verileri, 18 dB durdurma bandı zayıflamasına (Rs) ve 0,1 Hz normalleştirilmiş durdurma bandı kenar frekansına (Wn) sahip altıncı dereceden bir Chebyshev II filtresi kullanılarak önceden işlendi. Ayrıca filtrelenen BVP sinyali 0-100 arasında normalleştirildi. EDA sinyalini filtrelemek için çerçeve uzunluğu değeri 11 olan beşinci dereceden Savitzky-Golay filtresi kullanıldı. BVP'ye benzer şekilde EDA sinyali de 0-100 arasında normalleştirildi. Filtrelenen ve normalize edilen sinyal, fazik (cilt iletkenlik tepkisi (SCR)) ve tonik bileşenlere (cilt iletkenlik düzeyi (SCL)) ayrıştırıldı. ST sinyalinde herhangi bir gürültü veya aykırı değer gözlemlenmediğinden, özellik çıkarma işlemi için doğrudan ham ST sinyali kullanıldı. İkinci çalışmada ise, tipik gelişimli ilkokul öğrencileriyle Stroop test kullanılarak setup oluşturulmuştur. Stroop test, zihinsel aktiflik ve dikkat yeteneğini ölçen bir psikolojik testtir. Stroop test çoğu makalede kullanılan bir fizyolojik duygu uyarımı olan bir oyundur. Katılımcılara kısa sürede renk ve yazılar arasında çelişki olan oyunu bitirmeleri görev olarak verilmiştir. Katılımcıya ekranda farklı renklerde renk isimleri belirtilerek doğru renklerin söylenmesi istenir. Renk ve yazılar farklı olduğu için zihinde çatışmaya sebep olmaktadır. Katılımcılar ilkokul öğrencileri olduğu için Stroop test uygulanabilmiştir. Her katılımcı için aynı süre sürecek olan Stroop test oyunu oluşturulmuştur, bu setup sayesinde veriler etiketlenmiştir. Elde edilen veriler bandpass filtreleme yapılıp EDA peakleri hesaplanmıştır. Sonrasında ise elde edilen fizyolojik verilerden yaklaşık 61 adet özellik çıkartılmıştır. Bu özelliklerden bazılarının ilişkileri konvolüsyon matrisleri ile incelenmiştir. MrMR özellik seçim algoritması kullanılarak özellik sayısı 10'a düşürülmüştür. Böylelikle birbiriyle ilişkili olan özellik boyutları elimine edilmiştir. Sınıflandırma yöntemleri araştırılmış ve literatürde en çok kullanılan sınıflandırma yöntemleriyle çalışmalar yapılmıştır çalışmada XGBoost ve LSTM kullanılmıştır. XGBoost sınıflandırma algoritması kullanılmış ve analiz edilmiştir Sınıflandırma metrikleri MrMR feature selection sonrası seçilen 10 özellik ile yapılmıştır. Test doğruluğunun %88 olduğu gözlemlenmiştir. Sınıflandırma yapılan özellik sayısı 61 olduğunda ise stest doğruluğu %96 olarak görülmüştür. Eğitim sonucunda SHAP (SHapley Additive ExPlanations) algoritması kullanarak eğitim yapılan modelin analizi yapılmıştır. SHAP sayesinde model üzerinde hangi özelliklerin model üzerinde daha etkili olduğu görselleştirilmiştir. Bu görseller üzerinden analiz ve sonuç çıkarımı yapılmıştır. Model üzerinde en etkin olan değerin EDA_max_min olduğu gözlemlenmiştir. Son olarak LSTM algoritması kullanılarak model eğitimi yapılmış ve çıktıları paylaşılmıştır. LSTM ile Stroop test kayıtlarından elde edilen özellik çıkartma yapılmamış zaman serisi verileri üzerinden işlem yapılmıştır. Oluşturulan modelin binary-class sınıflandırma sonuçlarının multi-class sınıflandırmaya göre daha iyi olduğu gözlemlenmiştir. Multi-class sınıflandırmaya göre baseline durumunun ayırt ediciliği diğer sınıflara göre daha düşüktür. WESAD datası kullanılarak LSTM eğitimi yapılıp çocuk katılımcılardan aldığımız verilerle transfer learning yapılmıştır, fakat kayda değer bir sonuç alınamamıştır. Özet olarak, ilgili tezde çocuklarla stres tespiti amacıyla farklı yaklaşımlar gerçekleştirilmiştir. Amaç OSD'li çocuklarda yapılan terapilerde fizyolojik verilerden hareketle duygu tahmini yapıp robotun çevreye olan duyarlılığını daha arttırmaktadır. Çalışmadaki kısıtlamalar, otizmli çocuklarla yetişkinlerle yapılan stres görevlerinin gerçekleştirilememesi ve test sırasında takılan giyilebilir teknoloji aletlerini takmak istememeleri, test sırasında çıkarmaya çalışmaları ve benzeri durumlardır. Gelecek çalışmalarda elde edilen veriseti boyutu büyütülüp ikili sinyaller ile eğitimler yapılıp karşılaştırmalar yapılabilir. Deep learning algoritmalarıyla genişletilmiş veri setleriyle ek çalışmalar yapılması doğruluk oranı arttırılabilir.
Özet (Çeviri)
Human is a system that constantly interacts with the environment. The system it is in can involve the person in different emotional states. Some of the emotional states that are an important part of human life can negatively affect a person's health, this is stress. Stress reduces people's quality of daily life and causes health problems if it persists. Understanding stress and emotional state is difficult for people with some syndromes. The most important of these syndromes is Autism spectrum disorder. Individuals with OSD, especially children, have difficulty expressing their emotions. While some visual systems work at high accuracy rates in adults, these systems do not work as desired in children with autism. This is because children with autism cannot express their emotions like typically developing children. For this reason, it is said that physiological components, which automatically affect stress and emotional states, play an active role in stress analysis, rather than visual systems. Physiological data affected by stress are components such as Electrodermal Activity (EDA), Blood Volume Pulse (BVP), and Skin Temperature (ST). Stress and emotion detection studies in the literature have mostly been conducted on adults; there is no published dataset on children. Various studies were carried out with children within the scope of the project. Our first study was conducted with data recorded during robot therapy with children with OSD within the scope of the Emboa project. In adult data, emotional changes are made in the light of labeling and surveys by assigning different tasks to people. Since this cannot be done in children with OSD, there are no labels in the data collected by schools participating in the Erasmus project. For this reason, evaluations were made with the data obtained as a result of research in the literature. Signal analysis and filtering were provided and feature extractions were made. The changes of children in therapy sessions with different robots were examined. In addition, the relationship between physiological data and age groups for children in different age groups in different countries was examined. Analyzes were performed using ANOVA and T-test statistical analysis methods. Finally, in the test conducted with typically developing primary school students, the setup was created using the Stroop test. Thanks to this setup, the data is labeled. The obtained data were bandpass filtered and EDA peaks were calculated. Afterwards, approximately 61 features were extracted from the physiological data obtained. The number of features was reduced to 10 using the MrMR feature selection algorithm. Afterwards, the XGBoost classification algorithm was used and classifications were made according to the situations separated in the test. The trained model was analyzed using the SHAP algorithm. It was determined which features were more effective on the model. Finally, the model was trained using the LSTM algorithm, and the outputs were shared.
Benzer Tezler
- Sosyal mühendislikte komplo tabanlı içeriklerin yapay zekâ ile analizi
Analysis of conspiracy-based content in social engineering with artificial intelligence
EMEL KOÇYİĞİT
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ FATİH ÇALLI
- Condition monitoring and fault detection for electrical power systems using signal processing and machine learning techniques
Sı̇nyal ı̇şleme ve makı̇ne öğrenme teknı̇klerı̇ kullanılarak elektrı̇k güç sı̇stemleri ı̇çı̇n durum ı̇zleme ve arıza belirleme
YASMIN NASSER MOHAMED
Doktora
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
PROF. DR. ŞAHİN SERHAT ŞEKER
- Finans alanında veri mahremiyeti yöntemleri: Federe öğrenme ve sentetik veri üretimi
Data privacy methods in finance: Federated learning and synthetic data generation
ELİF ÖZCAN
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
- Test verilerine dayalı, makine öğrenmesi ve derin öğrenme yöntemleri ile batarya sağlık durumu tahmini
Battery state of health estimation based on test data using machine learning and deep learning methods
MEHMET ALİ ARSLANTAŞ
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. FİKRET ÇALIŞKAN
- A novel approach for robust identification and characterization of mechanical shock loads for structural durability assessment
Yapısal dayanım değerlendirmesi için mekanik şok yüklerinin tespiti ve işlenmesine yönelik yeni bir yaklaşım
DOĞUKAN ELİBOL
Yüksek Lisans
İngilizce
2025
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. MESUT KIRCA