Automatic extraction of affective multimodal face videos
Duygu içerikli çok biçimli yüz videolarinin elde edilmesi için otomatik bir yöntem
- Tez No: 341238
- Danışmanlar: DOÇ. DR. ÇİĞDEM EROĞLU ERDEM
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Yüz İfadesi Tanıma, Duygu Tanıma, Kısıtlı Yerel Modeller, Ses ve Görüntü İçeren Yüz Veritabanı, Facial Expression recognition, Emotion recognition, Affect Recognition, Spontaneous Expressions, Constrained Local Model, Audio-Visual Database
- Yıl: 2012
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 100
Özet
Resim ve videolarda yer alan insan yüzlerini bulunması, takip edilmesi ve duygusal/zihinsel durum bilgisinin kestirilmesi uzun süredir araştırma yapılan bir alandır. Duygusal ve zihinsel durum kestirimi amacıyla bir yöntem geliştirmek için duygu içeriği olan resim ve video veri tabanlarına ihtiyaç duyulmaktadır. Hâlihazırda araştırmacıların erişimine açılmış olan veri tabanları, genellikle yapay yüz ifadeleri içerirler ve kontrollü koşullar altında laboratuvar ortamında kaydedilmişlerdir. Doğal duygusal ifadeler ve farklı aydınlatma koşulları içeren, farklı yaş ve etnik gruplardan insanlardan oluşan veri tabanlarına ihtiyaç vardır. Böyle veri tabanlarının derlenmesi ise oldukça zaman alan ve zahmetli bir süreçtir. Bu tezde, doğala daha yakın duygu ifadeleri içeren ses ve yüz veri tabanı elde edebilmek için otomatik bir yöntem geliştirilmiştir. Hâlihazırda var olan sinema filmleri ve televizyon dizileri çokça duygu içerikli yüz videoları içermektedir. Bu filmlerde yer alan insan yüzleri otomatik olarak tespit edilip, sahne değişimi ya da örtüşme nedeniyle takip edilmez oluncaya kadar kısıtlı yerel modeller kullanılarak otomatik olarak izlenmektedir. Yüzün başarıyla takip edildiği video klibi, ona ait ses ve varsa altyazı bilgileri ile beraber bir dosyaya kaydedilmektedir. Önerilen otomatik yöntem ile Türkçe ve İngilizce duygusal klipler içeren bir ses ve görüntü içeren veritabanı oluşturulmuştur. Bu veri tabanı araştırmacıların erişimine açık olup, diğer diller için de önerilen yöntem kullanılarak kolayca genişletilebilir.
Özet (Çeviri)
Detection of human faces and estimation of affective information from facial images and videos is a research field, which has been very active in the last decade. Designing a system for estimation of the emotional (affective) and mental state of a person requires large annotated databases for the training and test phases. The available affective databases today are mostly recorded in controlled laboratory environments and contain acted expressions. Therefore, large databases that contain close to spontaneous expressions, with varying illumination conditions, subject ethnicities and subject ages are needed. However, such databases are very difficult and laborious to collect. In order to fulfill this need, we present an automatic system that can extract audio-visual facial clips from readily available movies and TV series, which are shot under close to real life conditions. The proposed system first automatically detects, and tracks all faces in a given video. The landmarks on the face are tracked using a Constrained Local Model based method. When the face tracking is no longer possible due to occlusions or a scene cut, the facial audio-visual video clip is extracted and written to a file, together with subtitles if available. The extracted video clips are manually evaluated in terms of their affective content and they are added to the database after quality check and annotation stages. The system has been successfully used to create an affective audio-visual database containing video clips in English and Turkish. The database (BAUM-2: BAhçeşehir University Multimodal affective database) is open to researchers and can easily be extended to include audio-visual clips in other languages.
Benzer Tezler
- Emotion aware artificial intelligence for cognitive systems
Bilişsel sistemler için duygu farkındalıklı yapay zeka
DEĞER AYATA
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Audio-visual affect recognition
Yüz ifadeleri ve sesten çok-kipli duygu tanıma
SARA ZHALEHPOUR
Yüksek Lisans
İngilizce
2014
Elektrik ve Elektronik MühendisliğiBahçeşehir ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
Assoc. Prof. Dr. ÇİĞDEM EROĞLU ERDEM
- Çok modlu derin öğrenme yöntemlerinin ses patolojilerinin tespiti için geliştirilmesi
Development of multi-modal deep learning methods for voice pathology detection
ASLI NUR ÖMEROĞLU
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAtatürk ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. EMİN ARGUN ORAL
- An embedded design and implementation of a facial expression recognition system
Yüz ifadelerini tanıma sistemi gömülü sistem tasarım ve uygulaması
ÖMER SÜMER
Yüksek Lisans
İngilizce
2014
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ECE OLCAY GÜNEŞ
- Yersel lazer tarayıcılardan elde edilen veriler kullanılarak otomatik nesne çıkarımı
Automati̇c object extraction usi̇ng terrestrial laser scanner data
RESUL ÇÖMERT
Yüksek Lisans
Türkçe
2014
Jeodezi ve FotogrametriAnadolu ÜniversitesiUzaktan Algılama ve Coğrafi Bilgi Sistemleri Ana Bilim Dalı
YRD. DOÇ. DR. UĞUR AVDAN