Duygu bazlı video özetleme
Affective video summarization
- Tez No: 774433
- Danışmanlar: PROF. DR. ENGİN ERZİN
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 116
Özet
Video paylaşımı ve yayın hizmetlerinin kullanılabilirliği ile, kullanıcıların medya tüketim davranışı TV'den internete taşındı ve bu durum video içeriğinde bir artışa neden oldu. Video özetleme alanı, video içeriği ve trafigindeki hızlı artışın neden olduğu komplikasyonları hafifletmek için verimli video gösterimi, alma ve tarama için çözümler üretir. Yeni video içeriğinin incelenmesi, kullanıcı tarafından oluşturulan insan merkezli video üretimi ve tüketiminin bu artışın çoğunu konsolide ettiğini gösteriyor. Geleneksel video özetleme, insan içeriğini ihmal eder ve tüm video kategorilerini benzer şekilde ele alır. Bu tezde, insan merkezli videoların özetlenmesinin hem insan davranışını anlamayı hem de video özetlemeyi gerektirdiğini savunuyoruz. Duygu tanıma ve video özetleme yoluyla karmaşık insan davranışlarını anlamak için bu karmaşık görevi seri alt görevlere ayırıyoruz. İlk olarak, insan video içeriğini duyuşsal durumlarla temsil ediyoruz ve görsel-işitsel girdiden duyuşsal durumları tahmin eden çok modlu, çok görevli, öğrenmeye dayalı bir çerçeve öneriyoruz. Afektif durumları tahmin etmenin yanı sıra, afektif konturdaki göze çarpan bölgeleri doğru bir şekilde yakalamak için afektif patlamaları tespit etmeye yönelik yeni bir problem tanımlıyoruz. İnsan merkezli videoların özetlenmesine odaklanan ve duygusal bilgileri video özetleme sürecine entegre eden bir çerçeve öneren duygusal video özetlemeyi tanımlıyoruz. Son olarak, video özetleme ve duygu tanıma üzerine ortak araştırma yapılmasını sağlayan, video özetleme için etiketlenmiş AffWild2-VS olarak adlandırılan bir veri kümesi sunduk.
Özet (Çeviri)
With the availability of video sharing and streaming services, the media consumption behavior of users has moved from TV to the internet resulting in a surge in video content. The video summarization field produces solutions for efficient video representation, retrieval, and browsing to ease the complications caused by video content and traffic surge. Inspection of the new video content shows that user-generated human-centric video production and consumption consolidates most of the surge. Conventional video summarization neglects the human content and treats all video categories similarly. In this thesis, we argue that summarization of human-centric videos requires both understanding human behavior and video summarization. We break down this complex task into serial sub-tasks to understand complex human behavior through emotion recognition and video summarization. First, we represent the human video content by affective states and propose a multi-modal, multi-task learning-based framework estimating affective states from audio-visual input. Along with predicting affective states, we define a novel problem of detecting affective bursts to capture salient regions in the affective contour accurately. We define affective video summarization which focuses on the summarization of human-centric videos and proposes a framework that integrates affective information into the video summarization process. Finally, we presented a dataset referred to as AffWild2-VS annotated for video summarization, enabling joint research on video summarization and emotion recognition.
Benzer Tezler
- Emotional impact of movies
Filmlerin duygusal etkisi
NİHAN KARSLIOĞLU İMAN
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. LALE AKARUN ERSOY
DOÇ. DR. ALBERT ALİ SALAH
- Affect recognition based on key frame selection from video
Videodan anahtar çerçeve seçimine dayalı duygu tanıma
MEHMET KAYAOĞLU
Yüksek Lisans
İngilizce
2016
Elektrik ve Elektronik MühendisliğiBahçeşehir ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ÇİĞDEM EROĞLU ERDEM
- Mikro beceri eğitimi programı'nın psikolojik danışman adaylarının psikolojik danışma becerilerine etkisi
The effect of microcounseling program on counseling skills of counselor trainees
BARIŞ YAKA
Doktora
Türkçe
2011
Eğitim ve ÖğretimEge ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. TUNCAY ÖĞRETMEN
- Fake news classification using machine learning and deep learning approaches
Makine öğrenimi ve derin öğrenme yaklaşımlarını kullanarak sahte haber sınıflandırması
SAJA ABDULHALEEM MAHMOOD AL-OBAIDI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TUBA ÇAĞLIKANTAR