Geri Dön

A novel approach to emotion recognition in voice: A convolutional neural network approach and grad-cam generation

Seste duygu tanımlaması üstüne yeni bir yaklaşım: Konvolusyonel sinir ağları ve grad-cam oluşturulması

PDF İndir

  1. Tez No: 570089
  2. Yazar: SALİH FIRAT CANPOLAT
  3. Danışmanlar: PROF. DR. DENİZ ZEYREK BOZŞAHİN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilim ve Teknoloji, Dilbilim, Psikoloji, Science and Technology, Linguistics, Psychology
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2019
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Enformatik Enstitüsü
  11. Ana Bilim Dalı: Bilişsel Bilim Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 93

Özet

Duygu, insan ve insan-makine etkileşiminin temel bileşenlerinden biridir. İnsan ve insan-makine etkileşiminde sık kullanılan iletişim kanallarından biri de sestir. Ses sinyalinde duygu tanımayı sağlayan temel yapıları anlamak iki tip etkileşimi de geliştirmek için önemli bir basamaktır. Bu amaçla, bu çalışma kapsamında, yeni bir duygu tanıma modeli ve Türkçeye özgü olan, Türk Ses-Duygu (TurEV) veritabanı geliştirildi. Veritabanı, dört duygu tipinin (kızgın, sakin, mutlu ve üzgün) üç farklı frekans bandında bir kelimelik seslendirmelerinden oluşmaktadır. Model, TurEV kullanılarak eğitildi ve insan doğrulama çalışmaları yapıldı. Sonuçlar, modelin duygu tanımada kullanılabilir bir yapıya sahip olduğuna işaret etmektedir. Karşılaştırmalı analizler, bilgisayarlı modellerin özellik bakımından zengin frekans bantlarını kullanarak daha iyi sonuç almasına karşın, insan zihninin ses sinyalinin diğer tüm özelliklerini kullandığını göstermektedir.

Özet (Çeviri)

Emotion is one of the essential components in human and human-machine interaction. One of the most common communication channels is the sound. Understanding the underlying mechanisms of emotion recognition in the sound signal is an essential step in improving both types of interaction. For this purpose, we developed an emotion recognition model, and a Turkish-specific database, referred to as the Turkish Emotion-Voice (TurEV) database. The database contains one-word-vocalizations of four emotion types; angry, calm, happy, and sad in three different frequency bands. The model was trained using TurEV, and human validation studies were conducted. The results indicate that the model is feasible for emotion recognition tasks. The comparison of the humans with the computational model indicate that the model achieves better results using feature-rich frequency bands, the humans use all other aspects of the sound signal.

Benzer Tezler

  1. Tez No

    856807

    Application of a voting-based ensemble method for recognizing seven basic emotions in real-time webcam video images

    Gerçek zamanlı web kamerası video görüntülerinde yedi temel duygunun tanınmasına yönelik oylamaya dayalı topluluk yönteminin uygulanması

    AHMET TUNAHAN ŞANLI

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MURAT SARAN

  2. Tez No

    849108

    DA4HI: A deep learning framework for facial emotion recognition in affective systems for children with hearing impairments.

    DA4HI: İşitme engelli çocuklar için duyuşsal sistemlerde yüzdeki duyguların tanınması maksadıyla geliştirilen derin öğrenme modeli.

    CEMAL GÜRPINAR

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. HATİCE KÖSE

    PROF. DR. NAFİZ ARICA

  3. Tez No

    574043

    Multimodal video-based personality recognition using long short-term memory and convolutional neural networks

    Çok kipli uzun kısa-süreli bellek ve evrişimli sinir ağları ile videoda kişilik tanıma

    SÜLEYMAN ASLAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. UĞUR GÜDÜKBAY

  4. Tez No

    391774

    Audio-visual affect recognition

    Yüz ifadeleri ve sesten çok-kipli duygu tanıma

    SARA ZHALEHPOUR

    Yüksek Lisans

    İngilizce

    İngilizce

    2014

    Elektrik ve Elektronik MühendisliğiBahçeşehir Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    Assoc. Prof. Dr. ÇİĞDEM EROĞLU ERDEM

  5. Tez No

    459413

    Facial expression recognition in the wild using improved trajectories and fisher vector encoding

    İyileştirmiş izlek ve fisher vektörü kodlaması ile zor şartlar altında yüz ifadesi tanıma

    SADAF AFSHARSAVOJBOLAGHI

    Yüksek Lisans

    İngilizce

    İngilizce

    2016

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Hesaplamalı Bilimler ve Mühendislik Ana Bilim Dalı

    YRD. DOÇ. DR. ALBERT ALİ SALAH

Geri Dön