Affect recognition based on key frame selection from video
Videodan anahtar çerçeve seçimine dayalı duygu tanıma
- Tez No: 436024
- Danışmanlar: PROF. DR. ÇİĞDEM EROĞLU ERDEM
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2016
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 89
Özet
Günlük yaşantımızda yüz ifadelerimiz duygusal ve zihinsel durumumuz hakkında sözlü olmayan mesajlar taşırlar. Yüz ve ses ifadelerinden duygu tanıma sağlık, eğitim, psikoloji ve güvenlik gibi çok farklı alanlarda kullanılabilmektedir. Yakın gelecekte insan-makine etkileşiminde duygusal durumun daha başarılı olarak tespiti ve buna göre etkileşimin yönlendirilmesi ile daha doğal uygulamaların gerçekleşmesi mümkün olacaktır. Bu tezde, video dizilerindeki yüz ifadelerini ve konuşma sinyalini kullanarak anahtar video karesi seçimine dayalı duygu tanımaya dayanan bir yöntem öneriyoruz. Duygusal bir ifadenin bulunduğu bir video göz önüne alındığında videoda bulunan her çerçeve genellikle farklı şiddetlerde duygu yansıtmaktadır. Ayrıca videonun bazı bölümlerindeki ardışık karelerin birbirine çok benzer olmasından dolayı yüzde küçük hareketler olmaktadır. Etkili anahtar çerçeve seçimiyle tüm videoyu en az çerçeve ile ve en etkili biçimde özetlemeyi hedefledik. Bunun için en az seyrek geriçatıma dayalı bir yöntem kullandık. Seçilen anahtar çerçevelere ait özniteliklerin ortalamasını alarak tüm videoya ait duygu içeriğini temsil etmek için kullandık. Ayrıca videodaki zamansal değişimleri de değerlendirmek için zamansal-uzamsal özniteliklerden yararlandık. Görsel özelliklerin yanında ses verisine ait spektral ve doğrusal kestirime dayalı öznitelikleri kullanarak görsel duygu tanımaya sonuç seviyesinde birleştirdik. Önerdiğimiz sistemi çeşitli veri tabanları üzerinde denedik ve önerilen bu sistemle ACM International Conference on Multimodal Interaction (ICMI) Emotion Recognition in the Wild (Emotiw 2015) yarışmasına katılarak olumlu sonuçlar elde ettik.
Özet (Çeviri)
In daily human-to-human interactions, our facial expressions convey non-verbal messages about our emotions and mental states that complement our verbal messages. In the future, human-computer interaction scenarios are also expected to have the ability to recognize emotions to provide more natural man-machine interaction and ubiquitous computing applications such as health care, education, psychology and security. In this dissertation, we present a multimodal affect recognition method using facial expressions and the speech signal. Given a video with an emotional expression, the frames in the video generally reflect the emotion with different intensities. Moreover, some parts of the video might have little motion, which makes consecutive frames to be very similar to each other. Therefore, we aim to summarize the content of the video by selecting key frames effectively by adopting a recent video summarization method based in minimum sparse reconstruction. We extract static appearance-based features from the selected facial key frames and average them to summarize the visual content of the whole video. We also capture the temporal variations of facial expressions using spatio-temporal appearance based features. Along with visual features, we employ spectral and linear prediction based audio features and fuse them with the video-based features at the score (decision) level. We tested the proposed framework on several databases and also obtained promising results in the ACM International Conference on Multimodal Interaction (ICMI) Emotion Recognition in the Wild (Emotiw 2015) challenge using the proposed method.
Benzer Tezler
- Uydu verileri ile İstanbul Boğazı ve Haliç'de su kirliliğinin makro düzeyde belirlenmesi
Intrepretation at macro level as pollution of water resources of remotely sensed data of Bosphorus and golden horn estuary by an unsupervised and supervised classification method
H.GONCA COŞKUN
- Algılanan marka küreselliğinin satın alma niyeti üzerine etkisi ve bir araştırma
The effect of perceived brand globality on purchase intention and a research / L'effet de la globalité perçue de la marque surl'intention d'achat et une recherche
MUNİSE HAYRUN SAĞLAM
Yüksek Lisans
Türkçe
2021
İşletmeGalatasaray Üniversitesiİşletme Ana Bilim Dalı
PROF. DR. M. YAMAN ÖZTEK
- BİST endeksinde yer alan gıda sektörü işletmelerinin 2017-2021 yılları arası kilit denetim konularının analizi
Analysis of the key audit issues of the food sector enterprises in the BIST index between 2017-2021
FATMA GENÇ
- Molecular recognition based self assembly of engineered proteins on nanoscaled gold surfaces
Nano-ölcek metal yüzeylerde moleküler tanıma esaslı kendiliğinden montaj olabilen protein tasarımı
BANU TAKTAK KARACA
Doktora
İngilizce
2015
Biyokimyaİstanbul Teknik ÜniversitesiMoleküler Biyoloji-Genetik ve Biyoteknoloji Ana Bilim Dalı
PROF. DR. CANDAN TAMERLER
YRD. DOÇ. DR. BÜLENT BALTA
- Üç boyutlu yüz tanımada lokal özellik temelli yöntemlerin kullanımı ve karşılaştırılması
Comparison and usage of local feature based methods for 3d face recognition
MUHAMMED ENES ATİK
Yüksek Lisans
Türkçe
2018
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ZAİDE DURAN