Geri Dön

Speech emotion recognition: Application in distance learning education

Uzaktan eğitim uygulamalarında konuşma duygu tanıma

  1. Tez No: 712020
  2. Yazar: DAHIRU TANKO
  3. Danışmanlar: DOÇ. DR. ŞENGÜL DOĞAN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: Fırat Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Adli Bilişim Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 64

Özet

Duyguları tanımlama/hesaplama, insanlar ve bilgisayar sistemleri arasında sorunsuz bir etkileşimi geliştirmek için duygusal zekanın doğuştan gelen insan yeteneklerini makinelere aktarmaya çalışan bir yapay zeka dalıdır. Konuşmadan duygu tanıma, duygusal hesaplamanın önemli bir yönüdür ve insan duygusal durumlarını tanıyan, analiz eden, yorumlayan ve simüle eden sistem ve makinelerin tasarlanmasında önemli bir rol oynar. Bu projede, konuşmada duygu tanıma kavramı, bir uzaktan öğrenme platformu aracılığıyla performans sunan dersi araştırmak için bir uzaktan öğrenme sistemine entegre edilmektedir. Bunu arşivlemek için performans üç kategoride sınıflandırılır: eğitmenin duygusal durumuna bağlı olarak ilginç, Nötr ve sıkıcı. Proje, bir öğretim görevlisinin duygusal durumunu tanımak ve yorumlamak için akıllı makine öğrenimi teknikleri kullanılarak uygulanmaktadır. Veri ön işleme, özellik çıkarma, özellik seçimi ve sınıflandırma olmak üzere dört ana aşamada gerçekleştirilir. Modelimiz, ayarlanabilir Q dalgacık dönüşümünün (TQWT) yanı sıra yerel öznitelik üreteci olarak bir ayakkabı bağı grafik desenini kullanan kapsamlı bir öznitelik oluşturma yaklaşımını benimser. Nihai öznitelik vektörünü elde etmek için öznitelik oluşturma aşamasından en iyi dört öznitelik vektörü seçilir ve birleştirilir. Daha sonra, en ayırt edici 512 özniteliği seçmek için öznitelik seçim aşamasında komşuluk bileşen analizi (NCA) yöntemi kullanılmıştır. Ardından destek vektör makinesi (SVM) sınıflandırıcısını kullanarak sınıflandırmayı gerçekleştiriyoruz. Önerilen yöntem iyi performans gösterdi ve bize Türkçe veri setine uygulandığında %96,41 ve İngilizce veri setine uygulandığında %94,97 doğruluk sağladı.

Özet (Çeviri)

Affective computing is a branch of artificial intelligence that tries to pass the innate human capabilities of emotional intelligence to machines to enhance a smooth interaction between humans and computer systems. Speech emotion recognition is an essential aspect of affective computing and plays a significant role in designing systems and machines that recognize, analyze, interpret, and simulate human emotional states. In this project, the concept of speech emotion recognition is being integrated into a distance learning system to investigate the lecture delivering performance via a distance learning platform. To archive this, the performance is classified into three categories: interesting, Neutral, and boring, depending on the lecturer's emotional state. The project is implemented using intelligent machine learning techniques to recognize and interpret a lecturer's emotional state. It is carried out in four major stages of data preprocessing, feature extraction, feature selection, and classification. Our model adopts a comprehensive feature generation approach that utilizes a shoelace graph pattern as a local feature generator alongside tunable Q wavelet transform (TQWT). The best four feature vectors from the feature generation stage are selected and merged to obtain the final feature vector. After that, we applied an NCA method at the feature selection stage to select 512 most discriminative features. We then perform the classification using the SVM classifier. Our proposed network performed well, giving us an accuracy of 96.41% when applied on the Turkish dataset and 94.97% when applied on the English dataset.

Benzer Tezler

  1. Comparison of feature selection and extraction methods and active learning in voice based emotion recognition systems

    Ses duygu tanıma sistemlerinde aktif öğrenme ve öznitelik seçme ve çıkarma yöntemlerinin karşılaştırılması

    TOLGA ATALAY

    Yüksek Lisans

    İngilizce

    İngilizce

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ YUSUF YASLAN

  2. Deep learning based three dimensional face expression recognition using geometry images from three dimensional face models

    Üç boyutlu yüz modellerinden elde edilen geometri görüntüleri kullanılan derin öğrenme tabanlı üç boyutlu yüz ifadelerini tanıma

    NEŞE GÜNEŞ

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. ULUĞ BAYAZIT

  3. Ses sinyallerinden duygu tanıma için farklı yaklaşımlar

    Various approaches to emotion recognition from speech signals

    SEMİYE DEMİRCAN

    Doktora

    Türkçe

    Türkçe

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKonya Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HUMAR KAHRAMANLI

  4. Derin öğrenme ve ses tabanlı duygu tanıma

    Deep learning and audio based emotion recognition

    ASLI DEMİR

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Elektrik ve Elektronik MühendisliğiFırat Üniversitesi

    Elektrik-Elektronik Mühendisliği Teknolojileri Ana Bilim Dalı

    PROF. DR. ABDULKADİR ŞENGÜR

  5. Geliştirilen yeni filtrelerin ve temel frekans tespit yönteminin derin öğrenme ile konuşma duygu analizinde uygulanması

    Application of novel filter banks and fundamental frequency detection method in speech emotion recognition with deep learning

    CEVAHİR PARLAK

    Doktora

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDüzce Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. YUSUF ALTUN