Unsupervised video summarization with independently recurrent neural networks and multiple rewards
Bağımsız özyineli sinir ağları ve çoklu ödüller ile gözetimsiz video özetleme
- Tez No: 593392
- Danışmanlar: DOÇ. DR. NAZLI İKİZLER CİNBİŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Rekurrent, Sayısal görüntü işleme, Sinir ağları, Yapay sinir ağları, Recurrent, Digital image processing, Nerve net, Artificial neural networks
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Son yıllarda dikkat çeken bir ivmeye sahip, ilgi çekici araştırma konularından biri olan video özetleme, uzun videoların, içeriğini olabildiğince geniş çaplı ifade edebilecek daha kısa ve özlü videolar haline getirilmesidir. Video özetleme görevi üzerinde yapılan son çalışmalarda uzun kısa vadeli belleklerde ve geçitli tekrarlayan ünitelerde kullanılan sigmoid ve hiperbolik tanjant etkilenim fonksiyonlarının katmanlar boyunca eğimin bozulmasına sebep olabileceği gözlemlenmektedir. Bununla birlikte özyineli sinir ağlarında bulunan nöronların birbirine dolanması nedeni ile ağ modellerinin yorumlanması ve geliştirilebilmesi zordur. Ayrıca uzun videolardan iyi bir özet çıkarabilmek için modelin zamansal tutarlılığı sürdürebilmesi gerekmektedir. Anahtar bölütlerdeki alakasız sıçramalar izleyicinin kafasını karıştırabilir. Bu sebeple modelin video özetini tekdüze olarak oluşturması gerekmektedir. Bu problemlerin giderilebilmesine yönelik olarak, bu çalışmamızda, gözetimsiz olarak video özetleme problemi için, bağımsız özyineli sinir ağları (Independently Recurrent Neural Network - BÖSA) ile derin pekiştirmeli öğrenmeyi bir arada kullanan bir yöntem önerilmektedir. Bu yöntemde eğimin bozulması ve ölü nöron problemleriyle başa çıkmak için etkilenim fonksiyonu olarak sızan doğrultulmuş doğrusal ünite kullanılmıştır. Bu model herhangi bir etikete veya kullanıcı etkileşimine ihtiyaç duymayan, birlikte hesaplanan, oluşturulan videonun tekdüzeliğinden, çeşitliliğinden ve ifade edilebilirliğinden oluşan bir ödül fonksiyonu ile tasarlanmıştır. Bu sayede model video özetini olabildiğince tekdüze oluşturabilir, eğim ile ilgili herhangi bir problem ile karşılaşmadan daha fazla katmana sahip olabilir ve daha fazla adım ile eğitilebilir. Video özetleme ile ilgili iki önemli denektaşı veri kümesinde yapılan deneylerde alınan sonuçlar, önerilen BÖSA tabanlı derin pekişkirmeli öğrenme yaklaşımının literatürde önerilen diğer yaklaşımlara oranla daha yüksek başarımlı sonuçlar ürettiğini göstermektedir.
Özet (Çeviri)
Video summarization, one of the interesting research areas that has significant acceleration in recent years, is producing shorter and concise videos that represent the content of long videos as diversely as possible. It is observed that the sigmoid and the hyperbolic activation function used in long short-term memory (LSTM) and gated recurrent unit (GRU) models, which were used in recent studies on video summarization task, may cause gradient decay over layers. Moreover, interpreting and developing network models are hard because of entanglement of neurons on recurrent neural network (RNN). Besides that, to create good video summary from long videos, a model needs to retain temporal coherence. Irrelevant jumps within key segments can confuse a viewer. Therefore, a model should compose video summary uniformly. To solve these issues, in this study, a method that uses deep reinforcement learning together with independently recurrent neural networks (IndRNN) is proposed for unsupervised video summarization problem. In this method, Leaky Rectified Linear Unit (Leaky ReLU) is used as an activation function to deal with decaying gradient and dying neuron problems. The model, which does not rely on any labels or user interaction, is designed with a reward function that jointly accounts for uniformity, diversity and representativeness of generated summaries. In this way, the model can create summaries as uniform as possible, has more layers and can be trained with more steps without having any problem related to gradients. Based on the experiments conducted on two benchmark datasets, it is observed that, compared to the state-of-the-art methods on video summarization task, better results are obtained.
Benzer Tezler
- Körfezlerdeki su kalitesinin uydu görüntü verileri yardımıyla incelenmesi
The Evaluation of water-quality in the bays by satellite images
FİLİZ SUNAR
- Yapay Zeka'nın robot görmesi üzerine uygulanması
An Application of robot vision in artificial intelligence
FUNDA PEHLİVAN
- Uydu verileri ile İstanbul Boğazı ve Haliç'de su kirliliğinin makro düzeyde belirlenmesi
Intrepretation at macro level as pollution of water resources of remotely sensed data of Bosphorus and golden horn estuary by an unsupervised and supervised classification method
H.GONCA COŞKUN
- Unsupervised sınıflandırma yöntemlerinin incelenmesi karşılaştırılması ve yeni metod geliştirilmesi üzerinde çalışmalar.
Başlık çevirisi yok
BÜLENT MITIŞ
