Affect burst detection and recognition
Duygusal patlama sezimi ve tanıması
- Tez No: 397262
- Danışmanlar: DOÇ. DR. YÜCEL YEMEZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2015
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 42
Özet
Duygusal patlamaların, altında barınan duygulanımların anlaşılmasında önemli bir rol oynaması sebebiyle, bu barınan duyguların tanınması araştırmacıların önemli bir konusu olmuştur. Kaynaklarda, özellikle kahkalardan beslenen ve sadece sese dayanan girdileri kullanarak, duygusal patlamaların tanınmasında bir çok yaklaşım geliştirilmesine rağmen, çok kipli yaklaşımların duygusal patlamaları elde etmede kulanılması daha etkili sistemleri kullanılmasını gerektirdiği için çok yaygın değildir. Bu tezde, güncel olarak kullanılan ve bizim sunduğumuz yaklaşımları çeşitleri ile sunmaktadır. Bu yaklaşım, önce duygusal patlamaları açığa çıkaran ve sonra bu patlamaları gruplandıran iki katmanlı bir sıra düzeni kapsamaktadır. Bu aşamalı sınıflandırmada, işitsel ve yüzdeki belirli noktalarından elde edilen ipuçları birleştirilmiştir. Deneysel değerlendirmeler için, yüksek kaliteli ses ve yüzdeki belirlenen noktaların haraketlerinin düzgünleştirilmiş yakalanımını içeren, doğal ve gerçekçi konuşmaları içeren Interactive emotional dyadic motion capture database (IEMOCAP) kullanılmıştır. İlk önce duygusal patlamaların IEMOCAP veri tabanındaki etkileri belirtilip, önerdiğimiz yaklaşımı bu data üzerinde test edildi. Deneyler sonucunda yaklaşımımızın duygusal patlanımları elde etme ve sınıflandırmada sadece görsel veya işitsel tek kipli projelerden gözle görülebilir bir biçimde daha iyi çalıştığını görüldü. Ayrıca, yaklaşımımızın verimini kaynaklarda referans olarak alınan çeşitli sınıflandırma algoritmaları ile olan karşılaştırılması sunulmuştur.
Özet (Çeviri)
Affect bursts play a critical role in recognizing underlying emotions and hence their detection is of particular interest to researchers. In the literature, there are a number of approaches for detecting affect bursts, particularly laughters, from audio-only inputs, but multimodal approaches are limited while they can provide more effective systems for the affect burst detection. This thesis presents the current state of the art as well as our approaches to detect affect bursts along with their type. This includes a two layer hierarchical classifier, first to detect affect burst events and then to classify these events into affect burst types. In the hierarchical classifier we combine cues from audio and facial landmark points. In experimental evaluations we use the Interactive emotional dyadic motion capture database(IEMOCAP), which contains realistic and natural dyadic conversations with high quality audio and normalized motion capture of facial landmark points. We firstly annotate affect bursts events in the IEMOCAP database and test our proposed approach over it. We observe significant performance improvements with the multimodal approach over audio-only and visual-only unimodal schemes in detecting affect bursts along with their types. We also show comparison among different types of classifiers which serve as baseline.
Benzer Tezler
- Kıyı bölgelerindeki atıl sanayi alanlarında geliştirilmiş kentsel dönüşüm projelerinin kent kimliğine etkisi: Bakü, Beyaz Şehir örneği
The effect of urban regeneration projects to urban identity in abondened industrial areas in the coastal regions: Baku, White City case
ELCHIN ALIYEV
Yüksek Lisans
Türkçe
2022
MimarlıkBursa Uludağ ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. TÜLİN VURAL ARSLAN
DOÇ. DR. SİBEL POLAT
- Tarımsal meteorolojik açıdan iklim değişikliğinden kaynaklanan risklerin analizi: Karacabey örneği
Agricultural meteorological analysis of risks caused by climate change: A case study in Karacabey
YAĞMUR SILA KILIÇ
Yüksek Lisans
Türkçe
2025
Meteorolojiİstanbul Teknik Üniversitesiİklim Bilimi ve Meteoroloji Mühendisliği Ana Bilim Dalı
PROF. DR. LEVENT ŞAYLAN
- Hücre kültürü hatlarında çapraz ve mikoplazma kontaminasyonunun yeni bir str fragman analiz yöntemi ile belirlenmesi
A novel determination method for cross and mycoplasma contamination in cell cultures with fragment analysis
ADEM ALEMDAR
Doktora
Türkçe
2024
BiyoteknolojiBursa Uludağ ÜniversitesiTranslasyonel Tıp Ana Bilim Dalı
PROF. DR. ŞEHİME GÜLSÜN TEMEL
- Endüstriyel kontrol sistemlerinde anomali tespiti
Anomaly detection in industrial control systems
EMİNE HÜMEYRA DEMİRCİOĞLU
Doktora
Türkçe
2024
Elektrik ve Elektronik MühendisliğiBursa Uludağ ÜniversitesiElektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ERSEN YILMAZ
- Evrişimli sinir ağları yöntemleri ile lazer nozul görüntülerinde hasar tespiti
Damage detection in laser nozzle images with convolutional neural networks methods
BARIŞ KOL
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBursa Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ERDEM YAVUZ