Multimodal video-based personality recognition using long short-term memory and convolutional neural networks
Çok kipli uzun kısa-süreli bellek ve evrişimli sinir ağları ile videoda kişilik tanıma
- Tez No: 574043
- Danışmanlar: PROF. DR. UĞUR GÜDÜKBAY
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 68
Özet
Kişilik özelliklerinin tanınmasının gerekli olduğu kişilik hesaplama ve duygusal hesaplama, son zamanlarda bir çok araştırma alanında artan ilgi ve dikkate sahip olmuştur. Kişilik özellikleri, Beş Faktörlü Model tarafından beş boyutta tanımlanmaktadır: açıklık, sorumluluk, dışadönüklük, uyumluluk, ve duygusallık. Biz, insanların bu beş kişilik özelliklerini videolardan tanımak için yeni bir yaklaşım öneriyoruz. Kişilik ve duygu, konuşma tarzını, yüz ifadelerini, vücut hareketlerini ve sosyal bağlamdaki dilsel faktörleri etkiler ve ayrıca çevresel unsurlardan etkilenir. Bu nedenle, yüz, çevre, ses ve çevriyazı özellikleri gibi çeşitli kiplere dayanan belirgin kişilik özelliklerini tanımak için çok kipli bir sistem geliştiriyoruz. Yöntemimizde, özellikleri bağımsız olarak tanımayı öğrenen kipe özgü sinir ağları kullanıyoruz ve son bir belirgin kişilik tahminini bu ağların öznitelik düzeyinde bir kaynaşımı ile elde ediyoruz. Yüksek düzey öznitelikleri bulmak için ResNet ve VGGish ağları gibi önceden eğitilmiş derin evrişimli sinir ağlarını ve zamansal bilgiyi bütünleştirmek için uzun kısa-süreli bellek ağlarını kullanıyoruz. Kipe özgü alt ağlardan oluşan büyük modeli, iki-aşamalı bir eğitim yöntemi ile eğitiyoruz. İlk önce alt ağları ayrı olarak eğitiyoruz, ardından, genel modele bu eğitilmiş ağları kullanarak ince ayar yapıyoruz. Önerilen yöntemi“ChaLearn First Impressions V2 challenge”veri setini kullanarak değerlendiriyoruz. Yaklaşımımız, beş kişilik özelliklerinin“ortalama doğruluk”puanlarının ortalaması alındığında literatürdeki yöntemlere göre en iyi sonuçları elde etmektedir.
Özet (Çeviri)
Personality computing and affective computing, where recognition of personality traits is essential, have gained increasing interest and attention in many research areas recently. The personality traits are described by the Five-Factor Model along five dimensions: openness, conscientiousness, extraversion, agreeableness, and neuroticism. We propose a novel approach to recognize these five personality traits of people from videos. Personality and emotion affect the speaking style, facial expressions, body movements, and linguistic factors in social contexts, and they are affected by environmental elements. For this reason, we develop a multimodal system to recognize apparent personality traits based on various modalities such as the face, environment, audio, and transcription features. In our method, we use modality-specific neural networks that learn to recognize the traits independently and we obtain a final prediction of apparent personality with a feature-level fusion of these networks. We employ pre-trained deep convolutional neural networks such as ResNet and VGGish networks to extract high-level features and Long Short-Term Memory networks to integrate temporal information. We train the large model consisting of modality-specific subnetworks using a two-stage training process. We first train the subnetworks separately and then fine-tune the overall model using these trained networks. We evaluate the proposed method using ChaLearn First Impressions V2 challenge dataset. Our approach obtains the best overall“mean accuracy”score, averaged over five personality traits, compared to the state-of-the-art.
Benzer Tezler
- Video and image based face analysis with extreme learning machines
Uçta öğrenme makineleriyle video ve imge tabanlı yüz analizı
FURKAN GÜRPINAR
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiHesaplamalı Bilimler ve Mühendislik Ana Bilim Dalı
DOÇ. DR. ALBERT ALİ SALAH
YRD. DOÇ. DR. HEYSEM KAYA
- Personality-aware deception detection from behavioral cues
Davranışsal özelliklerden kişilik duyarlı aldatma algılama
BURAK MANDIRA
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HAMDİ DİBEKLİOĞLU
- Çok kipli video kavram sınıflandırması
Multimodal video concept classification
BERKAY SELBES
Yüksek Lisans
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBaşkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MUSTAFA SERT
- Semantic video modeling and retrieval with visual, auditory, textual sources
Görsel, işitsel, yazısal kaynaklarla video modellenmesi ve erişimi
NURCAN DURAK
Yüksek Lisans
İngilizce
2004
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ADNAN YAZICI
- Structural and event based multimodal video data modeling
Yapısal ve olay temelli çok biçimli video veri modellemesi
HAKAN ÖZTARAK
Yüksek Lisans
İngilizce
2005
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ADNAN YAZICI