Automatic audio emotion detection based on perceptual features
Algısal öznitelikler kullanarak sesten otomatik duygu durum tanıma
- Tez No: 452742
- Danışmanlar: PROF. DR. BİLGE GÜNSEL KALYONCU
- Tez Türü: Doktora
- Konular: Mühendislik Bilimleri, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2013
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Telekomünikasyon Mühendisliği Bilim Dalı
- Sayfa Sayısı: 134
Özet
Konuşmacıların kısa ve orta vadeli duygu hallerinin otomatik kestirimi, hızla gelişmekte olan insan-bilgisayar kullanıcı arayüzü tasarımında ele alınan zorlu bir problemdir. Tez kapsamında, konuşma verisindeki kısa ve orta vadeli duygu hallerini kapsayan duygu ve uykululuk durumlarını sezme problemi araştırılmıştır. Bu probleme yönelik olarak farklı ortamlarda kaydedilen konuşma verisinden otomatik duygu sınıflandırma gerçeklemede kullanılabilecek yeni ses öznitelikleri önerilmektedir. Bu öznitelikler telefon hattı üzerinden iletilen sesin algısal kalitesini ölçmeyi amaçlayan ITU BS.1387 standardını temel almaktadır. Sınıflandırıcı çıkışında bulunan değerler geliştirilen özel bir oylama algoritması kullanılarak karara dönüştürülmektedir. Konuşmacıların orta vadeli duygu durumlarından olan uykululuk halini sezebilmek amacıyla, algısal öznitelikleri kullanan iki sınıflı bir sınıflandırıcı tasarlanmıştır. Mevcutlardan farklı olarak önerilen öznitelikler frekans, zaman maskeleme ve algısal seslilik modelleri kullanarak sesin spektral ve zamansal içeriğini başarıyla modelleyebilmektedir. Önerilen öznitelikler ile uykulu ve uyanık durumlar arasındaki farkı sezmek için öznitelik-öbekleme tekniği kullanılarak uykululuk durumlarındaki istatistiksel sapmaları modelleyen bir sözcük-öğrenme gerçeklenmiştir. Önerdiğimiz çözüm literatürdeki çalışmalarla (Munich Open-Source Emotion and Affect Recognition Toolkit, Hidden Markov Toolkit, and Generalized Discriminant Analysis) kıyaslandığında, EMO-DB veritabanında %7-16 aralığında ve VAM veritabanı için %7-11 oranında performans iyileşme gözlenmiştir. Diğer yandan SLC veritabanındaki sonuçlara göre de, uyku durumu sezmede mevcut referanslara göre %20 iyileşme sağlanmıştır. Sınıflandırıcı olarak Destek Vektör Makinası, Gauss Karışım Modelleri ve Öğrenimli Vektör Nicemleme kullanıldığında, önerilen öznitelikler ile literatürdeki sınıflandırma başarımının üzerine çıkıldığı ve aynı zamanda hesaplama karmaşıklığının azaldığı gösterilmektedir.
Özet (Çeviri)
Automatic detection of short term and medium term speaker states is a challenging problem in the design of recently developed human-computer-interaction systems. In the context of the thesis, we deal with audio emotion detection and sleepiness detection from speech that constitutes short term and medium term speaker states, respectively. We introduce a new set of acoustic features for automatic emotion classification from audio. The features are based on the perceptual quality metrics that are given in perceptual evaluation of audio quality known as ITU BS.1387 recommendation. A soft-majority voting decision rule that strengthens the conventional majority voting is proposed to assess the classifier outputs. In order to efficiently detect the medium term speaker states, we propose a two-class classification scheme with the perceptual features for sleepiness detection. Unlike the conventional methods that rely on the linguistic content of speech, we work with prosodic features extracted by psychoacoustic masking in spectral and temporal domain. Compared to the state-of-the-art systems including Munich Open-Source Emotion and Affect Recognition Toolkit, Hidden Markov Toolkit, and Generalized Discriminant Analysis, it is shown that the emotion recognition rates are improved between 7-16% for EMO-DB and 7-11% in VAM for 'all' and 'valence' categories. Recall rates reported based on Karolinska Sleepiness Scale (KSS) for Support Vector Machine (SVM) and Learning Vector Quantization (LVQ) classifiers show that the developed system enables monitoring sleepiness efficiently with a lower complexity compared to the reported benchmarking results for Sleepy Language Corpus (SLC).
Benzer Tezler
- Automatic extraction of affective multimodal face videos
Duygu içerikli çok biçimli yüz videolarinin elde edilmesi için otomatik bir yöntem
CAN KANSIN
Yüksek Lisans
İngilizce
2012
Elektrik ve Elektronik MühendisliğiBahçeşehir ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÇİĞDEM EROĞLU ERDEM
- Robust machine learning methods for computational paralinguistics and multimodal affective computing
Hesaplamasal paralinguistik ve çok-kipli duyuşsal hesaplama için gürbüz yapay öğrenme yönemleri
HEYSEM KAYA
Doktora
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ALBERT ALİ SALAH
PROF. DR. SADIK FİKRET GÜRGEN
- Audio-visual affect recognition
Yüz ifadeleri ve sesten çok-kipli duygu tanıma
SARA ZHALEHPOUR
Yüksek Lisans
İngilizce
2014
Elektrik ve Elektronik MühendisliğiBahçeşehir ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
Assoc. Prof. Dr. ÇİĞDEM EROĞLU ERDEM
- Music emotion recognition: A multimodal machine learning approach
Müzik duygusu tanıma: Çok-modlu makine öğrenmesi yaklaşımı
CEMRE GÖKALP
Yüksek Lisans
İngilizce
2019
Bilim ve TeknolojiSabancı ÜniversitesiYönetim Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AHMET ONUR DURAHİM
DOÇ. ABDULLAH DAŞCI
- Derin öğrenme tabanlı bas konuş/interkom sistemlerinde ses duygu analizi
Deep learning based voice emotion analysis in intercom systems
KÜBRA SİNAN
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDüzce ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. PAKİZE ERDOĞMUŞ