Facial expression recognition in the wild using improved trajectories and fisher vector encoding
İyileştirmiş izlek ve fisher vektörü kodlaması ile zor şartlar altında yüz ifadesi tanıma
- Tez No: 459413
- Danışmanlar: YRD. DOÇ. DR. ALBERT ALİ SALAH
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2016
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Hesaplamalı Bilimler ve Mühendislik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 94
Özet
Otomatik video görüntüsü işleme yöntemleri özellikle insan bilgisayar etkileşimini iyileştirme amacı ile öncem kazanmıştır. Video görüntülerinin analizinde özellikle zor bir problem görüntüdeki kişilerin duygu durumunu kestirebilmektir. Yüz ifadesi sınıflandırmanın uzaktan eğitim sistemlerinden Asperger sendromlu kişilerin kullanacağı uygulamalara ve güvenlik uygulamalarına uzanan geniş uygulama alanı mevcuttur. Bu tez çalışması kapsamında kontrollü ve gerçekçi koşullar altında toplanmış video görüntülerinden yüz ifadesi tanıma problemini ele alıyoruz. Yakın zamanda yapılan yüz bulma, hizalama, video öznitelik çıkartma ve sınıflandırma yaklaşımlarını inceledikten sonra yeni bir yöntem öneriyoruz. Bu yöntemde iyileştirilmiş yoğun izlekler yaklaşımını yüz hizalama sonrası uyguluyor, geometrik öznitelikler ve LGBT-TOP özniteliklerini Fisher vektörleri ile kodlayarak ekstrem öğrenme makineleri sınıflandırıcılarına veriyoruz. İyileştirilmiş yoğun izlekler yaklaşımı bu çalışma ile ilk defa yüz ifadesi tanıma problemine uygulanmıştır. Yaklaşımın her aşamasını karşılaştırmalı deneylerle, CK+ ve EmotiW 2015 veritabanları üzerinde sınıyoruz. Bu veritabanlarından birincisi kontrollü kayıt koşullarında toplanmış, nötr yüzden ifadeli yüzlere geçişleri içermektedir. İkinci veritabanı ise gerçekçi koşullarda, doğal ifadeler, zor ışıklandırma ve karmaşık arkaplan görüntüleri içeren film klipleridir. CK+ veritabanında 94.80\% (aşağılama ifadesi olmadan 95.79\%) ile en iyi sonuçlardan birini elde ediyoruz. EmotiW 2015 veritabanında elde ettiğimiz 43.39\% sınıflandırma başarısı ise yarışma temel sonucundan oldukça yüksektir. İki veritabanında da elde ettiğimiz iyi sonuçlar kullandığımız hizalama ve öznitelik çıkartma yöntemlerinin başarılı bir sistem ortaya koyduğunu göstermiştir.
Özet (Çeviri)
Automatic video data analysis has been a growing interest in order to improve human computer interaction. One of the most challenging parts in video analysis is the ability of evaluating human emotion robustly. Vast applications of human facial expression recognition can be seen everywhere from educational systems to treatment of Asperger's and surveillance. In this thesis, we explore facial expression recognition on both laboratory and realistic videos. After studying recent works about face detection, facial alignment, video description and classification, we present our novel approach in, which our proposed pipeline including facial alignment in combination with improved dense trajectory, geometric, encoded with Fisher vector encoding and LGBP-TOP features are fed to extreme learning machine. It is the first time that improved dense trajectory features are used in facial expression recognition. Furthermore, we extensively study each step of our pipeline in a comparative manner. We evaluate our approach on CK+ and EmotiW 2015 challenge datasets. Videos in first dataset are captured in laboratory settings and start from neutral state and end with peak expression while the second one is selected from movies with realistic conditions, spontaneous emotions, complicated background and challenging illumination variations. On Ck+ dataset, we obtained 94.80\% and 95.79\% (without contempt) accuracy, which is among the best results obtained on the CK+. On EmotiW 2015 challenge dataset, we got 43.39\% accuracy, which is higher than the baseline of the challenge considerably. In both datasets we were able to obtain the state-of-the-art results. Our results show that using appropriate pipeline of face alignment combined with efficient visual descriptors can result in a robust system with high ability of recognition.
Benzer Tezler
- An improved transfer learning based siamese network for face recognation
Yüz tanıma için geliştirilmiş aktarım öğrenme tabanlı sıamese ağı
DALHM GHALIB HALBOOS AL-SHAMMARI
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
البروفيسور. دكتور. DEVRİM AKGÜN
- Face recognition with local Walsh transform
Yerel Walsh dönüşümü ile yüz tanıma
MERYEM UZUN PER
Doktora
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUHİTTİN GÖKMEN
- Face track retrieval and recognition across age
Yaşlar arası yüz iz çıkarımı ve tanıması
ESAM GHALEB
Yüksek Lisans
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HAZIM KEMAL EKENEL
- Image processing for uncontracted ear awareness by using a deep neural network
Başlık çevirisi yok
MOHAMMED MAHMOOD ALI ALEZZI
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. OSMAN NURI UÇAN
- Yüzdeki nirengi noktalarının koşullu regresyon ormanları ile saptanması
Facial feature detection using conditional regression forests
GENCER VURAL
Yüksek Lisans
Türkçe
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUHİTTİN GÖKMEN