A novel approach to emotion recognition in voice: A convolutional neural network approach and grad-cam generation
Seste duygu tanımlaması üstüne yeni bir yaklaşım: Konvolusyonel sinir ağları ve grad-cam oluşturulması
- Tez No: 570089
- Danışmanlar: PROF. DR. DENİZ ZEYREK BOZŞAHİN
- Tez Türü: Yüksek Lisans
- Konular: Bilim ve Teknoloji, Dilbilim, Psikoloji, Science and Technology, Linguistics, Psychology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Bilişsel Bilim Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 93
Özet
Duygu, insan ve insan-makine etkileşiminin temel bileşenlerinden biridir. İnsan ve insan-makine etkileşiminde sık kullanılan iletişim kanallarından biri de sestir. Ses sinyalinde duygu tanımayı sağlayan temel yapıları anlamak iki tip etkileşimi de geliştirmek için önemli bir basamaktır. Bu amaçla, bu çalışma kapsamında, yeni bir duygu tanıma modeli ve Türkçeye özgü olan, Türk Ses-Duygu (TurEV) veritabanı geliştirildi. Veritabanı, dört duygu tipinin (kızgın, sakin, mutlu ve üzgün) üç farklı frekans bandında bir kelimelik seslendirmelerinden oluşmaktadır. Model, TurEV kullanılarak eğitildi ve insan doğrulama çalışmaları yapıldı. Sonuçlar, modelin duygu tanımada kullanılabilir bir yapıya sahip olduğuna işaret etmektedir. Karşılaştırmalı analizler, bilgisayarlı modellerin özellik bakımından zengin frekans bantlarını kullanarak daha iyi sonuç almasına karşın, insan zihninin ses sinyalinin diğer tüm özelliklerini kullandığını göstermektedir.
Özet (Çeviri)
Emotion is one of the essential components in human and human-machine interaction. One of the most common communication channels is the sound. Understanding the underlying mechanisms of emotion recognition in the sound signal is an essential step in improving both types of interaction. For this purpose, we developed an emotion recognition model, and a Turkish-specific database, referred to as the Turkish Emotion-Voice (TurEV) database. The database contains one-word-vocalizations of four emotion types; angry, calm, happy, and sad in three different frequency bands. The model was trained using TurEV, and human validation studies were conducted. The results indicate that the model is feasible for emotion recognition tasks. The comparison of the humans with the computational model indicate that the model achieves better results using feature-rich frequency bands, the humans use all other aspects of the sound signal.
Benzer Tezler
- Application of a voting-based ensemble method for recognizing seven basic emotions in real-time webcam video images
Gerçek zamanlı web kamerası video görüntülerinde yedi temel duygunun tanınmasına yönelik oylamaya dayalı topluluk yönteminin uygulanması
AHMET TUNAHAN ŞANLI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MURAT SARAN
- DA4HI: A deep learning framework for facial emotion recognition in affective systems for children with hearing impairments.
DA4HI: İşitme engelli çocuklar için duyuşsal sistemlerde yüzdeki duyguların tanınması maksadıyla geliştirilen derin öğrenme modeli.
CEMAL GÜRPINAR
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
PROF. DR. NAFİZ ARICA
- Multimodal video-based personality recognition using long short-term memory and convolutional neural networks
Çok kipli uzun kısa-süreli bellek ve evrişimli sinir ağları ile videoda kişilik tanıma
SÜLEYMAN ASLAN
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. UĞUR GÜDÜKBAY
- Audio-visual affect recognition
Yüz ifadeleri ve sesten çok-kipli duygu tanıma
SARA ZHALEHPOUR
Yüksek Lisans
İngilizce
2014
Elektrik ve Elektronik MühendisliğiBahçeşehir ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
Assoc. Prof. Dr. ÇİĞDEM EROĞLU ERDEM
- Facial expression recognition in the wild using improved trajectories and fisher vector encoding
İyileştirmiş izlek ve fisher vektörü kodlaması ile zor şartlar altında yüz ifadesi tanıma
SADAF AFSHARSAVOJBOLAGHI
Yüksek Lisans
İngilizce
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiHesaplamalı Bilimler ve Mühendislik Ana Bilim Dalı
YRD. DOÇ. DR. ALBERT ALİ SALAH