Geri Dön

Unsupervised video summarization with independently recurrent neural networks and multiple rewards

Bağımsız özyineli sinir ağları ve çoklu ödüller ile gözetimsiz video özetleme

  1. Tez No: 593392
  2. Yazar: GÖKHAN YALINIZ
  3. Danışmanlar: DOÇ. DR. NAZLI İKİZLER CİNBİŞ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2019
  8. Dil: İngilizce
  9. Üniversite: Hacettepe Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 83

Özet

Son yıllarda dikkat çeken bir ivmeye sahip, ilgi çekici araştırma konularından biri olan video özetleme, uzun videoların, içeriğini olabildiğince geniş çaplı ifade edebilecek daha kısa ve özlü videolar haline getirilmesidir. Video özetleme görevi üzerinde yapılan son çalışmalarda uzun kısa vadeli belleklerde ve geçitli tekrarlayan ünitelerde kullanılan sigmoid ve hiperbolik tanjant etkilenim fonksiyonlarının katmanlar boyunca eğimin bozulmasına sebep olabileceği gözlemlenmektedir. Bununla birlikte özyineli sinir ağlarında bulunan nöronların birbirine dolanması nedeni ile ağ modellerinin yorumlanması ve geliştirilebilmesi zordur. Ayrıca uzun videolardan iyi bir özet çıkarabilmek için modelin zamansal tutarlılığı sürdürebilmesi gerekmektedir. Anahtar bölütlerdeki alakasız sıçramalar izleyicinin kafasını karıştırabilir. Bu sebeple modelin video özetini tekdüze olarak oluşturması gerekmektedir. Bu problemlerin giderilebilmesine yönelik olarak, bu çalışmamızda, gözetimsiz olarak video özetleme problemi için, bağımsız özyineli sinir ağları (Independently Recurrent Neural Network - BÖSA) ile derin pekiştirmeli öğrenmeyi bir arada kullanan bir yöntem önerilmektedir. Bu yöntemde eğimin bozulması ve ölü nöron problemleriyle başa çıkmak için etkilenim fonksiyonu olarak sızan doğrultulmuş doğrusal ünite kullanılmıştır. Bu model herhangi bir etikete veya kullanıcı etkileşimine ihtiyaç duymayan, birlikte hesaplanan, oluşturulan videonun tekdüzeliğinden, çeşitliliğinden ve ifade edilebilirliğinden oluşan bir ödül fonksiyonu ile tasarlanmıştır. Bu sayede model video özetini olabildiğince tekdüze oluşturabilir, eğim ile ilgili herhangi bir problem ile karşılaşmadan daha fazla katmana sahip olabilir ve daha fazla adım ile eğitilebilir. Video özetleme ile ilgili iki önemli denektaşı veri kümesinde yapılan deneylerde alınan sonuçlar, önerilen BÖSA tabanlı derin pekişkirmeli öğrenme yaklaşımının literatürde önerilen diğer yaklaşımlara oranla daha yüksek başarımlı sonuçlar ürettiğini göstermektedir.

Özet (Çeviri)

Video summarization, one of the interesting research areas that has significant acceleration in recent years, is producing shorter and concise videos that represent the content of long videos as diversely as possible. It is observed that the sigmoid and the hyperbolic activation function used in long short-term memory (LSTM) and gated recurrent unit (GRU) models, which were used in recent studies on video summarization task, may cause gradient decay over layers. Moreover, interpreting and developing network models are hard because of entanglement of neurons on recurrent neural network (RNN). Besides that, to create good video summary from long videos, a model needs to retain temporal coherence. Irrelevant jumps within key segments can confuse a viewer. Therefore, a model should compose video summary uniformly. To solve these issues, in this study, a method that uses deep reinforcement learning together with independently recurrent neural networks (IndRNN) is proposed for unsupervised video summarization problem. In this method, Leaky Rectified Linear Unit (Leaky ReLU) is used as an activation function to deal with decaying gradient and dying neuron problems. The model, which does not rely on any labels or user interaction, is designed with a reward function that jointly accounts for uniformity, diversity and representativeness of generated summaries. In this way, the model can create summaries as uniform as possible, has more layers and can be trained with more steps without having any problem related to gradients. Based on the experiments conducted on two benchmark datasets, it is observed that, compared to the state-of-the-art methods on video summarization task, better results are obtained.

Benzer Tezler

  1. Automatic video categorization and summarization

    Videoların otomatik olarak sınıflandırılması ve özetlenmesi

    KEZBAN DEMİRTAŞ

    Yüksek Lisans

    İngilizce

    İngilizce

    2009

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. NİHAN KESİM ÇİÇEKLİ

    DOÇ. DR. İLYAS ÇİÇEKLİ

  2. Examining effect of prefiltering on unsupervised video segmentation and proposal of new, farter approaches with better segmentation results for motion-based merging of watershed regions

    Danışmansız video bölütlemede ömrüzgeçlemenin etkisinin incelenmesi ve su-seddi bölgelerinin harekete dayalı kaynaştırılması için daha iyi bölütleme sonuçları veren yeni, daha hızlı yaklaşımların önerimi

    HAKAN MURAT KARACA

    Yüksek Lisans

    İngilizce

    İngilizce

    2000

    Elektrik ve Elektronik MühendisliğiBoğaziçi Üniversitesi

    Elektrik Mühendisliği Ana Bilim Dalı

    PROF. DR. EMİN ANARIM

    PROF. DR. AVNİ MORGÜL

  3. Unsupervised active learning for video annotation

    Video etiketleme için denetimsiz aktif öğrenme

    EMRE DEMİR

    Yüksek Lisans

    İngilizce

    İngilizce

    2015

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Bilimleri Ana Bilim Dalı

    PROF. DR. ZEHRA ÇATALTEPE

  4. Unsupervised multi-object discovery and tracking using memory-augmented slot attention

    Bellek destekli slot dikkat modeliyle gözetimsiz çoklu nesne keşfi vetakibi

    AHMED IMAM SHAH

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    Prof. Dr. YÜCEL YEMEZ

    Assoc. Prof. Dr. İBRAHİM AYKUT ERDEM

  5. Basketbol oyuncu tanımlama ve skor tespiti

    Player identification with scoring detection

    OSMAN MURAT TEKET

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Elektrik ve Elektronik MühendisliğiTOBB Ekonomi ve Teknoloji Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. İMAM ŞAMİL YETİK