Emotional impact of movies
Filmlerin duygusal etkisi
- Tez No: 604205
- Danışmanlar: PROF. LALE AKARUN ERSOY, DOÇ. DR. ALBERT ALİ SALAH
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 99
Özet
Videolarda duygu tahmini, son yıllarda aktif bir araştırma alanıdır. Bu çalışma alanı filmlerde kişiselleştirilmiş duygusal analizi, video önerisi ve uygunsuz sahne sansürü için önemlidir. Bu tezde, filmlerde duygu tahminini inceliyoruz. Problem öznitelik çıkarımı, öznitelik özetleme, öznitelik seçimi, regresyon ve veri sentezi açısından incelenmiştir. Videolardan çıkarılan ses ve görüntü özellikleri Mel-frekans kepstrum katsayıları, ton doygunluğu histogramı, yoğun ölçek değişmezlikli öznitelik dönüşümü, yüz hareket birimleri ve VGG ağının altıncı tam bağlantılı katmanından çıkarılmıştır. Öznitelikler, tanımlayıcı istatistikler fonksiyoneller ve Fisher vektör kodlaması ile özetlenmiştir. Kanonik korelasyon analizine dayalı öznitelik seçimi deneylenmiştir. Aşırı öğrenme ve destek vektör makineleri regresyon teknikleri olarak kullanılmıştır. Film sahnesi ve film ruh hali dağılımı incelenerek eğitim ve doğrulama seti kurulmuştur. Sınıf dengesizliği sorunu, veri setindeki azınlık sınıfları için sentetik veriler üretilerek çözülmüştür. Birleştirme teknikleri en iyi sonuç aldığımız özniteliklere skor ve öznitelik seviyesinde uygulanmıştır. Ardışık etiketlerin ani değişiklikleri için yumuşatma filtresi kullanıldı. Bizim yaklaşımımız, Mediaeval 2017 organizasyonu tarafından sağlanan Filmlerin Duygusal Etkisi çalışmasında test edildi. Bu veri seti, zorlu bir veriseti olan Liris-Accede veri setinden seçilerek oluşturulmuştur. Duygu olumluluğu modelinin en iyi sonucu, yüz hareket birimleriyle, renk doygunluğu histogramının skor füzyonuyla elde edildi. Duygu şiddetinin en iyi sonucu, VGG'nin altıncı tam bağlı katman özelliğiyle renk doygunluğu histogramının öznitelik füzyonuyla elde edildi. Duygu olumluğunda iyi bir sonuca ulaştık. Elde ettiğimiz en iyi duygu şiddeti modelinde, tahminlerin bazı eğimleri ile gerçek etiketleri arasında pozitif korelasyonlar görüldü.
Özet (Çeviri)
Video emotion estimation has been an active area of research in recent decades. This study area is crucial for personalized content delivery, video recommendation, video summarization, and inappropriate scene censorship. In this thesis, we study movie emotion estimation. The problem is explored with regards to feature extraction, feature summarization, feature selection, regression, and data synthesis. The audio and image features extracted from videos are Mel-frequency cepstral coefficients, hue saturation histogram, dense scale-invariant feature transform, facial action units, and the sixth fully connected layer's feature of VGG network. The features are summarized via descriptive statistics functionals and Fisher vector encoding. Feature selection technique based on canonical correlation analysis is applied to the features. Extreme learning and support vector machines are used as regression techniques. We construct train and validation set examining movie scene and movie mood distributions in the dataset. We synthesis data for the minority classes in the unbalanced dataset. Feature and score level fusion techniques are applied to the best features. We use smoothing techniques for sudden changes of consecutive labels. Our approach is evaluated on the Emotional Impact of Movies Task's dataset provided by Mediaeval 2017 organization; the movies of the dataset are selected from a challenging Liris-Accede dataset. Fusion of facial action units and hue saturation histogram features provide the best arousal results. Score fusion of sixth fully connected layer feature of VGG and hue saturation histogram achieve best valence results. We obtain good Pearson Correlation Coefficient results for the best valence result. In the best arousal model, some slopes in predictions are in line with slopes of actual label graph.
Benzer Tezler
- Emotion prediction in movies using visual features
Filmlerde görsel özellikler kullanılarak duygu tahmini
FATİH ASLAN
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HAZIM KEMAL EKENEL
- Kentsel peyzajların tüketilmesinde sinema filmlerinin rolü
The role of movies in the consumption of urban landscapes
BAŞAK ÖZER
Doktora
Türkçe
2017
Peyzaj Mimarlığıİstanbul Teknik ÜniversitesiPeyzaj Mimarlığı Ana Bilim Dalı
PROF. DR. YASİN ÇAĞATAY SEÇKİN
- 'Aşk Hikayesi' filmi bağlamında sinema verite türünde iki farklı paralel öykü anlatımının kuramsal karşılaştırılması
Theoretical comparison of two different parallel storytellings in the cinema verite type in the context of the movie 'Love Story'
UĞUR BARAN KASIRGA
Doktora
Türkçe
2023
Sahne ve Görüntü SanatlarıMaltepe ÜniversitesiDisiplinlerarası Güzel Sanatlar Ana Sanat Dalı
PROF. DR. SELAHATTİN YILDIZ
- The evaluation of psychotherapists in movies in terms of emotional intelligence
Sinemadaki psikoterapist temsillerinin duygusal zeka bakımından değerlendirilmesi
MÜGE BANLI PALA
Yüksek Lisans
İngilizce
2009
PsikolojiOrta Doğu Teknik ÜniversitesiPsikoloji Bölümü
PROF. DR. FARUK GENÇÖZ
- The effect of emotional states on decision making: Experimental evidence
Duyguların karar verme üzerindeki etkisi: Deneysel kanıt
CEREN BENGÜ ÇIBIK