Sinyal görüntü dönüşümleri yardımıyla çok modlu duygu tanıma sisteminin geliştirilmesi
Development of multimodal emotion recognition system with the help of signal to image transformations
- Tez No: 770914
- Danışmanlar: PROF. DR. CEMAL KÖSE
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Karadeniz Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 183
Özet
Duygu tanıma, insanlar arasında akıl yürütme ve etkileşimi geliştirmek için çeşitli uygulamalarda önemli bir yere sahiptir. Fakat duygu dış uyaranların da etkisiyle çok hızlı değişebildiğinden duygu tanıma problemlerinin klasik yöntemlerle çözülmesi oldukça zordur. Tez çalışmasında çok modlu duygu tanıma sistemleri için hem özgün açı genlik dönüşümü (AGD) yöntemleri hem de farklı türdeki giriş verilerini birleştiren özgün füzyon yöntemleri önerilmiştir. Tez çalışmasının ilk bölümünde Elektroensefalografi (EEG) ve Elektrookülografi (EOG) sinyallerine AGD'ler uygulanmıştır. Elde edilen açı genlik görüntüleri (AGG) iki farklı yaklaşımla (ÖSB-1, ÖSB-2) öznitelik seviyesinde birleştirilmiş ve destek vektör makineleriyle (DVM) sınıflandırılmıştır. İkinci bölümde ise EEG sinyalleri ve yüz görüntüleri giriş verileri olarak kullanılmıştır. EEG sinyallerine özgün iki AGD yöntemi uygulanmıştır. Yüz görüntüleri arasındaki en benzersiz görüntü ise otomatik olarak belirlenmiştir. Bu iki farklı giriş verisi Sensör Seviyesinde Birleştirme (SSB), ÖSB-3 olarak adlandırılan iki farklı yaklaşımla birleştirilmiştir. Son olarak hem k-en yakın komşuluk (K-EYK) hem de DVM ile sınıflandırma gerçekleştirilmiştir. Tüm bunlara ek olarak, çok modlu duygu tanıma çalışmaları için özgün KMED çok modlu veri seti oluşturulmuştur. Yöntemlerin performansları hem KMED hem de DEAP veri setlerinde sınanmıştır.
Özet (Çeviri)
Emotion recognition has gained significant attention in various applications to develop reasoning and interaction between people. However, emotion recognition problems are very difficult two solve with classical methods, because emotions can change quickly because of complex external stimuli. In this thesis, both novel angle amplitude transformation (AAT) methods and fusion methods for combining different types of input data were proposed for multimodal emotion recognition. In the first part of the thesis, AAT was applied to Electroencephalography (EEG) and Electrooculogram (EOG) signals. The obtained angle amplitude graph (AAG) images were then combined with two different approaches (FLF-1 and FLF-2) at the feature level, and classified with support vector machines (SVM). In the second part, EEG signals and facial images were used as input data. Also, two new AAT methods were applied to the EEG signals. Among all face images, the most unique one is determined automatically. Then, the two different input data were combined with two newly proposed approaches (Sensor level fusion (SLF) and FLF-3). Finally, classification was performed with both k-nearest neighbor (kNN) and SVM. In addition to all these, a novel multimodal dataset KMED was created for multimodal emotion recognition studies. The performances of the proposed methods were tested on both KMED and DEAP datasets.
Benzer Tezler
- Emotion classification with EEG signals using convolutional neural networks
EEG sinyallerinden evrişimsel sinir ağları kullanımı ile duygu sınıflandırması
HAYRİYE DÖNMEZ
Yüksek Lisans
İngilizce
2021
Elektrik ve Elektronik MühendisliğiYaşar ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ NALAN ÖZKURT
- Sayısal görüntü işleme teknikleri kullanılarak iki boyutlu görüntü üzerinde yapılan üç boyutlu manipülasyonun analizi
The analysis of three dimensional manipulation on two dimensional image using digital image processing techniques
METİN ATILGAN
Yüksek Lisans
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiDisiplinlerarası Adli Bilimler Ana Bilim Dalı
DOÇ. DR. REFİK SAMET
- Görüntü üzerinde sayısal damgalama ve gömülü sistem uygulaması
Digital watermarking on images and its embedded system implementation
OĞUZ AYDIN
Yüksek Lisans
Türkçe
2018
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. MÜRVET KIRCI
- Sparse linear microwave imaging with alternating direction method of multipliers
Alternatif yön çarpanlar yöntemi ile seyrek lineer mikrodalga görüntüleme
CİHAN BEREKETOĞLU
Yüksek Lisans
İngilizce
2020
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET ÇAYÖREN
- High impedance fault detection in medium voltage distribution systems using wavelet transform
Dalgacık dönüşümü kullanılarak orta gerilim dağıtım sistemlerinde yüksek empedanslı arıza tespiti
BARAA MAKKAWI
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
PROF. DR. ÖMER USTA