Geri Dön

Affect burst detection and recognition

Duygusal patlama sezimi ve tanıması

  1. Tez No: 397262
  2. Yazar: SHABBİR MARZBAN
  3. Danışmanlar: DOÇ. DR. YÜCEL YEMEZ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2015
  8. Dil: İngilizce
  9. Üniversite: Koç Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 42

Özet

Duygusal patlamaların, altında barınan duygulanımların anlaşılmasında önemli bir rol oynaması sebebiyle, bu barınan duyguların tanınması araştırmacıların önemli bir konusu olmuştur. Kaynaklarda, özellikle kahkalardan beslenen ve sadece sese dayanan girdileri kullanarak, duygusal patlamaların tanınmasında bir çok yaklaşım geliştirilmesine rağmen, çok kipli yaklaşımların duygusal patlamaları elde etmede kulanılması daha etkili sistemleri kullanılmasını gerektirdiği için çok yaygın değildir. Bu tezde, güncel olarak kullanılan ve bizim sunduğumuz yaklaşımları çeşitleri ile sunmaktadır. Bu yaklaşım, önce duygusal patlamaları açığa çıkaran ve sonra bu patlamaları gruplandıran iki katmanlı bir sıra düzeni kapsamaktadır. Bu aşamalı sınıflandırmada, işitsel ve yüzdeki belirli noktalarından elde edilen ipuçları birleştirilmiştir. Deneysel değerlendirmeler için, yüksek kaliteli ses ve yüzdeki belirlenen noktaların haraketlerinin düzgünleştirilmiş yakalanımını içeren, doğal ve gerçekçi konuşmaları içeren Interactive emotional dyadic motion capture database (IEMOCAP) kullanılmıştır. İlk önce duygusal patlamaların IEMOCAP veri tabanındaki etkileri belirtilip, önerdiğimiz yaklaşımı bu data üzerinde test edildi. Deneyler sonucunda yaklaşımımızın duygusal patlanımları elde etme ve sınıflandırmada sadece görsel veya işitsel tek kipli projelerden gözle görülebilir bir biçimde daha iyi çalıştığını görüldü. Ayrıca, yaklaşımımızın verimini kaynaklarda referans olarak alınan çeşitli sınıflandırma algoritmaları ile olan karşılaştırılması sunulmuştur.

Özet (Çeviri)

Affect bursts play a critical role in recognizing underlying emotions and hence their detection is of particular interest to researchers. In the literature, there are a number of approaches for detecting affect bursts, particularly laughters, from audio-only inputs, but multimodal approaches are limited while they can provide more effective systems for the affect burst detection. This thesis presents the current state of the art as well as our approaches to detect affect bursts along with their type. This includes a two layer hierarchical classifier, first to detect affect burst events and then to classify these events into affect burst types. In the hierarchical classifier we combine cues from audio and facial landmark points. In experimental evaluations we use the Interactive emotional dyadic motion capture database(IEMOCAP), which contains realistic and natural dyadic conversations with high quality audio and normalized motion capture of facial landmark points. We firstly annotate affect bursts events in the IEMOCAP database and test our proposed approach over it. We observe significant performance improvements with the multimodal approach over audio-only and visual-only unimodal schemes in detecting affect bursts along with their types. We also show comparison among different types of classifiers which serve as baseline.

Benzer Tezler

  1. Kıyı bölgelerindeki atıl sanayi alanlarında geliştirilmiş kentsel dönüşüm projelerinin kent kimliğine etkisi: Bakü, Beyaz Şehir örneği

    The effect of urban regeneration projects to urban identity in abondened industrial areas in the coastal regions: Baku, White City case

    ELCHIN ALIYEV

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    MimarlıkBursa Uludağ Üniversitesi

    Mimarlık Ana Bilim Dalı

    PROF. DR. TÜLİN VURAL ARSLAN

    DOÇ. DR. SİBEL POLAT

  2. Hücre kültürü hatlarında çapraz ve mikoplazma kontaminasyonunun yeni bir str fragman analiz yöntemi ile belirlenmesi

    A novel determination method for cross and mycoplasma contamination in cell cultures with fragment analysis

    ADEM ALEMDAR

    Doktora

    Türkçe

    Türkçe

    2024

    BiyoteknolojiBursa Uludağ Üniversitesi

    Translasyonel Tıp Ana Bilim Dalı

    PROF. DR. ŞEHİME GÜLSÜN TEMEL

  3. Endüstriyel kontrol sistemlerinde anomali tespiti

    Anomaly detection in industrial control systems

    EMİNE HÜMEYRA DEMİRCİOĞLU

    Doktora

    Türkçe

    Türkçe

    2024

    Elektrik ve Elektronik MühendisliğiBursa Uludağ Üniversitesi

    Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ERSEN YILMAZ

  4. Akut invaziv fungal sinüzitlerde radyolojik görüntüleme bulgularının retrospektif değerlendirilmesi

    Retrospective evaluation of radiological imaging findings in acute invasive fungal sinusitis

    BARIŞ KORKMAZ

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2020

    Radyoloji ve Nükleer TıpBursa Uludağ Üniversitesi

    Radyoloji Ana Bilim Dalı

    PROF. DR. MÜFİT PARLAK

  5. Çocukluk çaği beta talasemi major tanili hastalarda gelişen glukoz metabolizma bozukluklarinin retrospektif değerlendirilmesi

    Retrospective evaluation of glucose metabolism disorders developed in pediatric patients diagnosed with beta thalassemia major

    İREM İNCEFİDAN

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2023

    Çocuk Sağlığı ve HastalıklarıSağlık Bilimleri Üniversitesi

    Çocuk Sağlığı ve Hastalıkları Ana Bilim Dalı

    DOÇ. DR. ELİF GÜLER KAZANCI