Multimodal emotion recognition in video
Video içerisinde çok alanlı duygu tanıma
- Tez No: 243972
- Danışmanlar: YRD. DOÇ. DR. ADİL ALPKOÇAK
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2008
- Dil: İngilizce
- Üniversite: Dokuz Eylül Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Bölümü
- Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Sayfa Sayısı: 159
Özet
Bu tez, görsel, işitsel ve metinsel alanlar içeren video için yeni çok alanlı duygu tanıma yöntemlerini sunar.Görsel alanda, resimlerdeki yüzlerin duygusal ifadesinin tanınması için eğri uydurma yöntemine dayalı yeni bir yüz ifadelerini tanıma algoritması önerilmiştir. Önerilen yöntem, ağız bölgesinin şeklini gözönüne alarak, mutluluk, üzgün olma ve şaşkınlık duygularını bulmaktadır. Yapılan deneyler sonucunda yöntemimiz 89% ortalama doğruluk oranına ulaşmaktadır. Buna ek olarak, yeni bir kare atlamalı video bölütleme yöntemi önerilmiştir.İşitsel alanda, konuşma kesitlerinin duygusal sınıflarının, topluluk destek vektör makinaları ile sınıflandırılması amacıyla bir yaklaşım sunulmuştur. Buna ek olarak, ses sinyali içerisinden konuşma aktivitesi bulma alanında yeni bir yaklaşım ve Emotional Finding Nemo adında yeni bir duygu veriseti sunulmuştur.Yazı alanında, Vektör Uzay Modeli tabanlı duygu sınıflandırması yöntemi sunulmuştur. Yapılan deney sonuçlarına göre önerilen yöntem, verilen bir cümlenin duygusal sınıfının tahminlenmesi konusunda kısa cümleler için en az, Bayes, Destek Vektör Makinları ve ConceptNet gibi bilinen diğer yöntemler kadar iyi sonuç üretmektedir.Son olarak, web tabanlı bir arayüz ile geç birleştirme yöntemi kullanılarak, TRECVID verisetinin duygu içerikli olarak taranması sağlanmış, ve sistem performansını göstermek amacıyla duyguyu gösterebilen video oynatıcısı geliştirilmiştir.
Özet (Çeviri)
This thesis proposes new methods to recognize emotions in video considering visual, aural, and textual modalities.In visual modality, we proposed a new facial expression recognition algorithm based on curve fitting method for frontal upright faces in still images. Proposed algorithm considers the shape of mouth region to recognize happy, sad and surprise emotions. According to our experiments, our method achieves 89% average accuracy. In addition, we proposed a skip frame based approach for video segmentation.In aural modality, we present an approach to emotion recognition of speech utterances that is based on ensembles of Support Vector Machine classifiers. In addition, we proposed a new approach for Voice Activity Detection in audio signal, and presented a new emotional dataset called Emotional Finding Nemo based on a popular animation film, Finding Nemo.In textual modality, we proposed an emotion classification method based on Vector Space Model (VSM). Experiments showed that VSM based emotion classification on short sentences can be as good as other well-known methods including Naïve Bayes, SVM, and ConceptNet on predicting emotional class of a given sentence.Finally, we use late fusion technique with a web-based interface for emotional browsing of TRECVID dataset, and we developed an emotion-aware video player to demonstrate the system performance.
Benzer Tezler
- Affect recognition based on key frame selection from video
Videodan anahtar çerçeve seçimine dayalı duygu tanıma
MEHMET KAYAOĞLU
Yüksek Lisans
İngilizce
2016
Elektrik ve Elektronik MühendisliğiBahçeşehir ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ÇİĞDEM EROĞLU ERDEM
- Emotion recognition in children: Single and multimodal approaches with facial and physiological data
Çocuklarda duygu tanima: Yüz ve fizyolojik verilerle tekli ve çoklu modalite yaklaşimlari
ŞEYMA TAKIR
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- Video and image based face analysis with extreme learning machines
Uçta öğrenme makineleriyle video ve imge tabanlı yüz analizı
FURKAN GÜRPINAR
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiHesaplamalı Bilimler ve Mühendislik Ana Bilim Dalı
DOÇ. DR. ALBERT ALİ SALAH
YRD. DOÇ. DR. HEYSEM KAYA
- Audio-visual affect recognition
Yüz ifadeleri ve sesten çok-kipli duygu tanıma
SARA ZHALEHPOUR
Yüksek Lisans
İngilizce
2014
Elektrik ve Elektronik MühendisliğiBahçeşehir ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
Assoc. Prof. Dr. ÇİĞDEM EROĞLU ERDEM
- Automatic extraction of affective multimodal face videos
Duygu içerikli çok biçimli yüz videolarinin elde edilmesi için otomatik bir yöntem
CAN KANSIN
Yüksek Lisans
İngilizce
2012
Elektrik ve Elektronik MühendisliğiBahçeşehir ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÇİĞDEM EROĞLU ERDEM