Sinyal görüntü dönüşümleri yardımıyla çok modlu duygu tanıma sisteminin geliştirilmesi
Development of multimodal emotion recognition system with the help of signal to image transformations
- Tez No: 770914
- Danışmanlar: PROF. DR. CEMAL KÖSE
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Duygu tanıma, Elektroensefalografi, Elektrookülografi, Görüntü işleme yöntemleri, Makine öğrenmesi, Çoklu çözümlü öğrenme, İşaret işleme, Emotion recognition, Electroencephalography, Electrooculography, Image processing methods, Machine learning, Multimodal learning, Signal processing
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Karadeniz Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Duygu tanıma, insanlar arasında akıl yürütme ve etkileşimi geliştirmek için çeşitli uygulamalarda önemli bir yere sahiptir. Fakat duygu dış uyaranların da etkisiyle çok hızlı değişebildiğinden duygu tanıma problemlerinin klasik yöntemlerle çözülmesi oldukça zordur. Tez çalışmasında çok modlu duygu tanıma sistemleri için hem özgün açı genlik dönüşümü (AGD) yöntemleri hem de farklı türdeki giriş verilerini birleştiren özgün füzyon yöntemleri önerilmiştir. Tez çalışmasının ilk bölümünde Elektroensefalografi (EEG) ve Elektrookülografi (EOG) sinyallerine AGD'ler uygulanmıştır. Elde edilen açı genlik görüntüleri (AGG) iki farklı yaklaşımla (ÖSB-1, ÖSB-2) öznitelik seviyesinde birleştirilmiş ve destek vektör makineleriyle (DVM) sınıflandırılmıştır. İkinci bölümde ise EEG sinyalleri ve yüz görüntüleri giriş verileri olarak kullanılmıştır. EEG sinyallerine özgün iki AGD yöntemi uygulanmıştır. Yüz görüntüleri arasındaki en benzersiz görüntü ise otomatik olarak belirlenmiştir. Bu iki farklı giriş verisi Sensör Seviyesinde Birleştirme (SSB), ÖSB-3 olarak adlandırılan iki farklı yaklaşımla birleştirilmiştir. Son olarak hem k-en yakın komşuluk (K-EYK) hem de DVM ile sınıflandırma gerçekleştirilmiştir. Tüm bunlara ek olarak, çok modlu duygu tanıma çalışmaları için özgün KMED çok modlu veri seti oluşturulmuştur. Yöntemlerin performansları hem KMED hem de DEAP veri setlerinde sınanmıştır.
Özet (Çeviri)
Emotion recognition has gained significant attention in various applications to develop reasoning and interaction between people. However, emotion recognition problems are very difficult two solve with classical methods, because emotions can change quickly because of complex external stimuli. In this thesis, both novel angle amplitude transformation (AAT) methods and fusion methods for combining different types of input data were proposed for multimodal emotion recognition. In the first part of the thesis, AAT was applied to Electroencephalography (EEG) and Electrooculogram (EOG) signals. The obtained angle amplitude graph (AAG) images were then combined with two different approaches (FLF-1 and FLF-2) at the feature level, and classified with support vector machines (SVM). In the second part, EEG signals and facial images were used as input data. Also, two new AAT methods were applied to the EEG signals. Among all face images, the most unique one is determined automatically. Then, the two different input data were combined with two newly proposed approaches (Sensor level fusion (SLF) and FLF-3). Finally, classification was performed with both k-nearest neighbor (kNN) and SVM. In addition to all these, a novel multimodal dataset KMED was created for multimodal emotion recognition studies. The performances of the proposed methods were tested on both KMED and DEAP datasets.
Benzer Tezler
- New approaches for speech enhancement with wavelet transform
Dalgacık dönüşümü ile konuşma iyileştirme için yeni yaklaşımlar
ELİF ÖZEN
Yüksek Lisans
İngilizce
2022
Bilim ve TeknolojiYaşar ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ NALAN ÖZKURT
- New orthogonal basis sets and image coding with best basis selection
Yeni dikgen temel kümeler ve en iyi temel küme seçimi ile imge kodlama
GÖKHAN VICIL
Yüksek Lisans
İngilizce
2000
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. T. ENGİN TUNCER
- Sayısal görüntü işleme teknikleri kullanılarak iki boyutlu görüntü üzerinde yapılan üç boyutlu manipülasyonun analizi
The analysis of three dimensional manipulation on two dimensional image using digital image processing techniques
METİN ATILGAN
Yüksek Lisans
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiAdli Bilimler Ana Bilim Dalı (disiplinlerarası)
DOÇ. DR. REFİK SAMET
- Görüntü üzerinde sayısal damgalama ve gömülü sistem uygulaması
Digital watermarking on images and its embedded system implementation
OĞUZ AYDIN
Yüksek Lisans
Türkçe
2018
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. MÜRVET KIRCI
- Difraksiyon tomografisinde hankel dönüşümü algoritması ile görüntü oluşturma
Image reconstruction with the hankel transform reconstruction algorithm in microwave diffraction tomography
MEHMED NASUHİ ŞAMLI
Yüksek Lisans
Türkçe
1992
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiPROF. DR. BİNGÜL YAZGAN