Unsupervised video summarization with independently recurrent neural networks and multiple rewards
Bağımsız özyineli sinir ağları ve çoklu ödüller ile gözetimsiz video özetleme
- Tez No: 593392
- Danışmanlar: DOÇ. DR. NAZLI İKİZLER CİNBİŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 83
Özet
Son yıllarda dikkat çeken bir ivmeye sahip, ilgi çekici araştırma konularından biri olan video özetleme, uzun videoların, içeriğini olabildiğince geniş çaplı ifade edebilecek daha kısa ve özlü videolar haline getirilmesidir. Video özetleme görevi üzerinde yapılan son çalışmalarda uzun kısa vadeli belleklerde ve geçitli tekrarlayan ünitelerde kullanılan sigmoid ve hiperbolik tanjant etkilenim fonksiyonlarının katmanlar boyunca eğimin bozulmasına sebep olabileceği gözlemlenmektedir. Bununla birlikte özyineli sinir ağlarında bulunan nöronların birbirine dolanması nedeni ile ağ modellerinin yorumlanması ve geliştirilebilmesi zordur. Ayrıca uzun videolardan iyi bir özet çıkarabilmek için modelin zamansal tutarlılığı sürdürebilmesi gerekmektedir. Anahtar bölütlerdeki alakasız sıçramalar izleyicinin kafasını karıştırabilir. Bu sebeple modelin video özetini tekdüze olarak oluşturması gerekmektedir. Bu problemlerin giderilebilmesine yönelik olarak, bu çalışmamızda, gözetimsiz olarak video özetleme problemi için, bağımsız özyineli sinir ağları (Independently Recurrent Neural Network - BÖSA) ile derin pekiştirmeli öğrenmeyi bir arada kullanan bir yöntem önerilmektedir. Bu yöntemde eğimin bozulması ve ölü nöron problemleriyle başa çıkmak için etkilenim fonksiyonu olarak sızan doğrultulmuş doğrusal ünite kullanılmıştır. Bu model herhangi bir etikete veya kullanıcı etkileşimine ihtiyaç duymayan, birlikte hesaplanan, oluşturulan videonun tekdüzeliğinden, çeşitliliğinden ve ifade edilebilirliğinden oluşan bir ödül fonksiyonu ile tasarlanmıştır. Bu sayede model video özetini olabildiğince tekdüze oluşturabilir, eğim ile ilgili herhangi bir problem ile karşılaşmadan daha fazla katmana sahip olabilir ve daha fazla adım ile eğitilebilir. Video özetleme ile ilgili iki önemli denektaşı veri kümesinde yapılan deneylerde alınan sonuçlar, önerilen BÖSA tabanlı derin pekişkirmeli öğrenme yaklaşımının literatürde önerilen diğer yaklaşımlara oranla daha yüksek başarımlı sonuçlar ürettiğini göstermektedir.
Özet (Çeviri)
Video summarization, one of the interesting research areas that has significant acceleration in recent years, is producing shorter and concise videos that represent the content of long videos as diversely as possible. It is observed that the sigmoid and the hyperbolic activation function used in long short-term memory (LSTM) and gated recurrent unit (GRU) models, which were used in recent studies on video summarization task, may cause gradient decay over layers. Moreover, interpreting and developing network models are hard because of entanglement of neurons on recurrent neural network (RNN). Besides that, to create good video summary from long videos, a model needs to retain temporal coherence. Irrelevant jumps within key segments can confuse a viewer. Therefore, a model should compose video summary uniformly. To solve these issues, in this study, a method that uses deep reinforcement learning together with independently recurrent neural networks (IndRNN) is proposed for unsupervised video summarization problem. In this method, Leaky Rectified Linear Unit (Leaky ReLU) is used as an activation function to deal with decaying gradient and dying neuron problems. The model, which does not rely on any labels or user interaction, is designed with a reward function that jointly accounts for uniformity, diversity and representativeness of generated summaries. In this way, the model can create summaries as uniform as possible, has more layers and can be trained with more steps without having any problem related to gradients. Based on the experiments conducted on two benchmark datasets, it is observed that, compared to the state-of-the-art methods on video summarization task, better results are obtained.
Benzer Tezler
- Automatic video categorization and summarization
Videoların otomatik olarak sınıflandırılması ve özetlenmesi
KEZBAN DEMİRTAŞ
Yüksek Lisans
İngilizce
2009
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. NİHAN KESİM ÇİÇEKLİ
DOÇ. DR. İLYAS ÇİÇEKLİ
- Examining effect of prefiltering on unsupervised video segmentation and proposal of new, farter approaches with better segmentation results for motion-based merging of watershed regions
Danışmansız video bölütlemede ömrüzgeçlemenin etkisinin incelenmesi ve su-seddi bölgelerinin harekete dayalı kaynaştırılması için daha iyi bölütleme sonuçları veren yeni, daha hızlı yaklaşımların önerimi
HAKAN MURAT KARACA
Yüksek Lisans
İngilizce
2000
Elektrik ve Elektronik MühendisliğiBoğaziçi ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
PROF. DR. EMİN ANARIM
PROF. DR. AVNİ MORGÜL
- Unsupervised active learning for video annotation
Video etiketleme için denetimsiz aktif öğrenme
EMRE DEMİR
Yüksek Lisans
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
PROF. DR. ZEHRA ÇATALTEPE
- Unsupervised multi-object discovery and tracking using memory-augmented slot attention
Bellek destekli slot dikkat modeliyle gözetimsiz çoklu nesne keşfi vetakibi
AHMED IMAM SHAH
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
Prof. Dr. YÜCEL YEMEZ
Assoc. Prof. Dr. İBRAHİM AYKUT ERDEM
- Basketbol oyuncu tanımlama ve skor tespiti
Player identification with scoring detection
OSMAN MURAT TEKET
Yüksek Lisans
Türkçe
2021
Elektrik ve Elektronik MühendisliğiTOBB Ekonomi ve Teknoloji ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. İMAM ŞAMİL YETİK