Geri Dön

Anlık video görüntüleri üzerinden his analizi ve stres haritası oluşturulması

Emotion analysis and stress map generation from real-time video streams

PDF İndir

  1. Tez No: 1025898
  2. Yazar: EMİRHAN KAYHAN
  3. Danışmanlar: DOÇ. DR. AHMET GÜRKAN YÜKSEK
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilim ve Teknoloji, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Science and Technology, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Transfer öğrenimi, Yapay zeka, Yüz ifadesi, Transfer learning, Artificial intelligence, Facial expressions
  7. Yıl: 2026
  8. Dil: Türkçe
  9. Üniversite: Sivas Cumhuriyet Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Bu tez çalışmasının amacı, anlık video akışından yüz ifadelerine dayalı temel duygu sınıflandırması yaparak, duygu zaman serisinden türetilen ikincil bir stres göstergesi üzerinden“stres haritası”üretmektir. Çalışmada kontrollü (CK+, JAFFE) ve daha doğal/gürültülü (FER-2013, NHFIER) dört veri seti üzerinde transfer öğrenme tabanlı derin evrişimsel ağlar karşılaştırılmıştır. CK+ için kişi-bağımsız (subject-aware) ayrım uygulanmış; FER-2013 deneylerinde güçlü veri artırma ve düzenlileştirme teknikleri ile 3-katlı çapraz doğrulama, ensemble ve test-time augmentation birlikte kullanılmıştır. Değerlendirme çoklu metriklerle yürütülmüş; model farkları Wilcoxon Signed-Rank testi (α=0.05) ile istatistiksel olarak sınanmıştır. Bulgular, veri seti özelliklerine bağlı olarak farklı“en iyi”eşleşmeler ortaya çıkarılması sağlanmıştır. DenseNet169 CK+ %97.53 doğruluk ve %95.78 Macro-F1; JAFFE %97.67 doğruluk ve %97.91 Macro-F1; FER-2013 %72.67 doğruluk ve %70.51 Macro-F1; and NHFIER %65.29 doğruluk ve %57.01 Macro-F1. Gerçek için PyQt6 tabanlı Emotion Recognition Studio geliştirildi; Jetson AGX Orin üzerinde uçtan uca etkin FPS'nin 1.79 5.36 aralığında değişir ve final EfficientNet-B4/B3 modelinde oralama çıkarım gecikmelerinin 202 ms ve 191 ms olduğu görülür. Stres göstergesi, ardışık zaman adımlarında duygu kararlarının değişimine göre“arttı/azaldı/önemsiz”olarak raporlanmış ve saha oturumlarında“önemsiz”geçişlerin baskın olduğu (%92.76–100) gözlenmiştir. Sonuç olarak çalışma, veri setine özgü eğitim stratejileri ve istatistiksel olarak gerekçelendirilmiş model seçimiyle, gömülü donanım üzerinde gerçek zamanlı duygu analizi ve stres haritası üretiminin uygulanabilir olduğunu ortaya koymaktadır. Stres çıktısının fizyolojik bir ölçüm değil, duygu tahminlerinden türetilen ikincil bir gösterge olduğu vurgulanmaktadır. Bu bağlamda, önerilen yaklaşım hem laboratuvar koşullarında yüksek doğruluk üreten mimarileri hem de doğal veri koşullarında genelleme gücünü ve gerçek zamanlı yürütüm davranışını birlikte ele alarak bir kanıt seti sunmaktadır. Gelecek çalışmalarda, stres kestiriminin güvenilirliğini artırmak üzere çok kipli (fizyolojik ve bağlamsal) sinyallerin bütünleştirilmesi ve çeşitlendirilmiş saha senaryolarında doğrulama önerilmektedir.

Özet (Çeviri)

The aim of this thesis is to produce a 'stress map' by classifying basic emotions based on facial expressions from live video streams and then deriving a secondary stress indicator from the emotion time series. The study compares transfer learning-based deep convolutional networks on four datasets: controlled (CK+, JAFFE) and more natural/noisy (FER-2013, NHFIER). Subject-aware separation was applied for CK+; in the FER-2013 experiments, strong data augmentation and regularisation techniques were used together with 3-fold cross-validation, ensemble, and test-time augmentation. Evaluation was conducted using multiple metrics; model differences were statistically tested using the Wilcoxon Signed-Rank test (α=0.05). The findings revealed different 'best' matches depending on the dataset characteristics. DenseNet169 achieved 97.53% accuracy and 95.78% Macro-F1 on CK+; JAFFE achieved 97.67% accuracy and 97.91% Macro-F1; FER-2013 achieved 72.67% accuracy and 70.51% Macro-F1; and NHFIER achieved 65.29% accuracy and 57.01% Macro-F1. For implementation, the PyQt6-based Emotion Recognition Studio was developed; On Jetson AGX Orin, the end-to-end effective FPS varies between 1.79 and 5.36, and the average inference delays in the final EfficientNet-B4/B3 model are observed to be 202 ms and 191 ms, respectively. The stress indicator was reported as 'increased/decreased/insignificant' based on changes in emotion decisions across successive time steps, and 'insignificant' transitions were observed to be dominant (92.76–100%) in field sessions. In conclusion, the study demonstrates the feasibility of real-time emotion analysis and stress mapping on embedded hardware through data-specific training strategies and statistically justified model selection. It is emphasised that the stress output is not a physiological measurement but a secondary indicator derived from emotion predictions. In this context, the proposed approach presents a body of evidence by addressing both architectures that produce high accuracy under laboratory conditions and generalisation power and real-time execution behaviour under NHFIER data conditions. Future work should integrate and diversify multi-modal (physiological and contextual) signals to enhance the reliability of stress estimation and validate it across diverse field scenarios.

Benzer Tezler

  1. Tez No

    637211

    Deep learning based dynamic turkish sign language recognition with leap motion

    Derin öğrenme tabanlı leap motıon ile dinamik türk işaret dili tanıma

    BURÇAK DEMİRCİOĞLU KAM

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HATİCE KÖSE

  2. Tez No

    364109

    Kızılötesi ve optik hava görüntülerinin birleştirilmesi

    Fusion of infrared and optical aerial images

    ALİ EMRE DESTEGÜL

    Yüksek Lisans

    Türkçe

    Türkçe

    2014

    Mühendislik BilimleriHava Harp Okulu Komutanlığı

    Elektronik Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. NUMAN ÜNALDI

  3. Tez No

    634206

    Üriner sistem enfeksiyonu şüphesi bulunan çocuklarda ultrasonografide mesane debrisi varlığının idrar analiz sonuçları ile ilişkisinin değerlendirilmesi

    Evaluation of the relationship between bladder debris in ultrasonography and urine analysis results in children with suspected urinary system infection

    GİZEM OLGAN

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2020

    Çocuk Sağlığı ve HastalıklarıAkdeniz Üniversitesi

    Çocuk Sağlığı ve Hastalıkları Ana Bilim Dalı

    PROF. DR. SEMA AKMAN

  4. Tez No

    934727

    İş kazaları ve meslek hastalıklarının önlenmesinde yapay zekâ kullanımı

    Use of artificial intelligence in preventing work accidents and occupational diseases

    ADNAN KARABULUT

    Doktora

    Türkçe

    Türkçe

    2025

    Mühendislik BilimleriAnkara Yıldırım Beyazıt Üniversitesi

    İş Güvenliği Ana Bilim Dalı

    PROF. DR. MEHMET BARAN

  5. Tez No

    922004

    Enhancing smart environments through an ai-assisted IORT agent

    Akıllı ortamların yapay zekâ destekli bir İORT aracısıyla güçlendirilmesi

    YAKUP KAYATAŞ

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Bilim ve Teknolojiİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ SANEM KABADAYI

Geri Dön