Geri Dön

Sinyal görüntü dönüşümleri yardımıyla çok modlu duygu tanıma sisteminin geliştirilmesi

Development of multimodal emotion recognition system with the help of signal to image transformations

  1. Tez No: 770914
  2. Yazar: BAHAR HATİPOĞLU YILMAZ
  3. Danışmanlar: PROF. DR. CEMAL KÖSE
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: Türkçe
  9. Üniversite: Karadeniz Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 183

Özet

Duygu tanıma, insanlar arasında akıl yürütme ve etkileşimi geliştirmek için çeşitli uygulamalarda önemli bir yere sahiptir. Fakat duygu dış uyaranların da etkisiyle çok hızlı değişebildiğinden duygu tanıma problemlerinin klasik yöntemlerle çözülmesi oldukça zordur. Tez çalışmasında çok modlu duygu tanıma sistemleri için hem özgün açı genlik dönüşümü (AGD) yöntemleri hem de farklı türdeki giriş verilerini birleştiren özgün füzyon yöntemleri önerilmiştir. Tez çalışmasının ilk bölümünde Elektroensefalografi (EEG) ve Elektrookülografi (EOG) sinyallerine AGD'ler uygulanmıştır. Elde edilen açı genlik görüntüleri (AGG) iki farklı yaklaşımla (ÖSB-1, ÖSB-2) öznitelik seviyesinde birleştirilmiş ve destek vektör makineleriyle (DVM) sınıflandırılmıştır. İkinci bölümde ise EEG sinyalleri ve yüz görüntüleri giriş verileri olarak kullanılmıştır. EEG sinyallerine özgün iki AGD yöntemi uygulanmıştır. Yüz görüntüleri arasındaki en benzersiz görüntü ise otomatik olarak belirlenmiştir. Bu iki farklı giriş verisi Sensör Seviyesinde Birleştirme (SSB), ÖSB-3 olarak adlandırılan iki farklı yaklaşımla birleştirilmiştir. Son olarak hem k-en yakın komşuluk (K-EYK) hem de DVM ile sınıflandırma gerçekleştirilmiştir. Tüm bunlara ek olarak, çok modlu duygu tanıma çalışmaları için özgün KMED çok modlu veri seti oluşturulmuştur. Yöntemlerin performansları hem KMED hem de DEAP veri setlerinde sınanmıştır.

Özet (Çeviri)

Emotion recognition has gained significant attention in various applications to develop reasoning and interaction between people. However, emotion recognition problems are very difficult two solve with classical methods, because emotions can change quickly because of complex external stimuli. In this thesis, both novel angle amplitude transformation (AAT) methods and fusion methods for combining different types of input data were proposed for multimodal emotion recognition. In the first part of the thesis, AAT was applied to Electroencephalography (EEG) and Electrooculogram (EOG) signals. The obtained angle amplitude graph (AAG) images were then combined with two different approaches (FLF-1 and FLF-2) at the feature level, and classified with support vector machines (SVM). In the second part, EEG signals and facial images were used as input data. Also, two new AAT methods were applied to the EEG signals. Among all face images, the most unique one is determined automatically. Then, the two different input data were combined with two newly proposed approaches (Sensor level fusion (SLF) and FLF-3). Finally, classification was performed with both k-nearest neighbor (kNN) and SVM. In addition to all these, a novel multimodal dataset KMED was created for multimodal emotion recognition studies. The performances of the proposed methods were tested on both KMED and DEAP datasets.

Benzer Tezler

  1. Emotion classification with EEG signals using convolutional neural networks

    EEG sinyallerinden evrişimsel sinir ağları kullanımı ile duygu sınıflandırması

    HAYRİYE DÖNMEZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Elektrik ve Elektronik MühendisliğiYaşar Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ NALAN ÖZKURT

  2. Sayısal görüntü işleme teknikleri kullanılarak iki boyutlu görüntü üzerinde yapılan üç boyutlu manipülasyonun analizi

    The analysis of three dimensional manipulation on two dimensional image using digital image processing techniques

    METİN ATILGAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2017

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara Üniversitesi

    Disiplinlerarası Adli Bilimler Ana Bilim Dalı

    DOÇ. DR. REFİK SAMET

  3. Görüntü üzerinde sayısal damgalama ve gömülü sistem uygulaması

    Digital watermarking on images and its embedded system implementation

    OĞUZ AYDIN

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MÜRVET KIRCI

  4. Sparse linear microwave imaging with alternating direction method of multipliers

    Alternatif yön çarpanlar yöntemi ile seyrek lineer mikrodalga görüntüleme

    CİHAN BEREKETOĞLU

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MEHMET ÇAYÖREN

  5. High impedance fault detection in medium voltage distribution systems using wavelet transform

    Dalgacık dönüşümü kullanılarak orta gerilim dağıtım sistemlerinde yüksek empedanslı arıza tespiti

    BARAA MAKKAWI

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektrik Mühendisliği Ana Bilim Dalı

    PROF. DR. ÖMER USTA