Geri Dön

Leveraging semantic saliency maps for query-specific video summarization

Sorguya özel video özetleme icin anlamsalbelirginlik haritalarından yararlanma

  1. Tez No: 759162
  2. Yazar: KEMAL ÇİZMECİLER
  3. Danışmanlar: DOÇ. DR. MEHMET ERKUT ERDEM, DOÇ. DR. AYKUT ERDEM
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: Hacettepe Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 99

Özet

Otomatik video ozetleme, büyük miktarda g örsel veriyi kolayca anlamamıza ve analiz ¨ etmemize yarayan bir tekniktir. Literaturdeki metotlar bunu videyu belli parçalara ayırarak ¨ ve bu parçalara bir onem de öeri atayarak gerçekleştirirler. Sorgu tabanlı özet çıkarmada ise ¨ sorgu terimlerinin nasıl onem de öerine dahil edilebilece şi araştırılmıştır. ˘ Bu çalışmada sorgu tabanlı ozetlemede önem de öeri atarken hangi kriterlerin etkili ˘ olabilecegi araştırılmıştır ve anlamsal öznitelikler ve g örsel belirginlik haritalarının katkı ¨ saglayabilece şiöne s ürülmüşt ür. Ayrıca sorgu terimlerinin sadece bazı aktiviteler olmaktan ¨ ziyade, aktivitenin gerçekleştirildigi mekan veya aktiviteyi gerçekleştiren akt ör olabilece öi˘ için bu kavramlar da sorgu terimlerine dahil edilmiştir. Yapılan deneylerde, optimizasyona dahil edilen 3 fonksiyondan biri olan kapsama terimine anlamsal ve gorsel belirginlik ¨ haritalarının dahil edilmesinin olumlu katkı sagladı şı g özlemlenmiştir. Optimizasyonda ¨ dikkate alınan diger iki fonksiyon ise temsil ve sorgu terimi yakınlı şıdır. Kısaca, insanların ˘ belli bir gorev dahilinde videoyu inceledi öinde baktı şı yerlerin de şişebilece şi d üşüncesiyle ¨ (Gorev Odaklı Dikkat), videodaki ilgili yerlerin önceden belirlenmesi ve çıkarılan özetlerde ¨ iii bu bolümlere a öırlık verilmesi faydalı olmuştur. ˘ ˙Iki buyük veri k ümesi üzerinde yapılan ¨ ayrıntılı deneyler ve gorsel sonuçlar, öne s ürülen hipotezin do örulu şunu g özler önüne ¨ sermiştir.

Özet (Çeviri)

Automatic video summarization is a technique that allows us to easily understand and analyze large amount of visual data. Methods in the literature do this by dividing the video into certain parts and assigning a significance value to these parts. In query-based summary extraction, how query terms can be included in the importance value has been investigated. In this study, it was investigated which criteria could be effective in assigning importance value in query-based summarization, and it is suggested that semantic attributes and visual salience maps could contribute. In addition, these concepts are also included in the query terms, since the query terms may be the place where the activity is carried out or the actor performing the activity, rather than just some activities. In the experiments, it has been observed that the inclusion of semantic and visual saliency maps in the diversity term, which is one of the 3 functions included in the optimization, makes a positive contribution. Two other functions considered in optimization are representation and query term relevance. In short, with the thought that the places people look at the video may change when they view the video within a certain task (Task-Oriented Attention), it is useful i to predetermine the relevant parts in the video and to give extra weight to these sections in the summaries. Detailed experiments and visual results on two large datasets have demonstrated the correctness of the proposed hypothesis.

Benzer Tezler

  1. Çift Norm-UNET tabanlı anlamsal bölütleme mimarisinin iyileştirilmesi ve uzaktan algılama verileri ile kullanılması

    Improvement of semantic segmentation architecture based on Dual Norm-UNET and its utilization with remote sensing data

    FENTY JAMES CONTEH

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. STUD. MEMBER OF İREM ÜLKÜ

  2. Building damage assessment from post-earthquake drone images using deep learning based segmentation methods: The case of February 6, 2023 Türkiye earthquakes

    Derin öğrenme tabanlı bölütleme yöntemleri kullanılarak deprem sonrası drone görüntülerinden bina hasar tespiti: 6 Şubat 2023 Türkiye depremleri örneği

    BEYZA GÜRER

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. MİNE ELİF KARSLIGİL

  3. Leveraging user-generated content with latent semantic indexing for cold-start playlist continuation

    Soğuk-başlangıç çalma listelerinin sürdürülmesi için kullanıcı tanımlı içerikler üzerine örtülü anlamsal indeksleme

    ALİ YÜREKLİ

    Doktora

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. CİHAN KALELİ

  4. Leveraging large scale data for video retrieval

    Büyük ölçekli verilerin video erişiminde kullanımı

    ANIL ARMAĞAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2014

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. PINAR DUYGULU ŞAHİN

  5. Deep Domain adaptation for the semantic segmentation of remote sensing images

    Uzaktan algılama görüntülerinin sezgisel bölümlemesi için derin alan uyarlaması

    SARMAD FAKHRULDDIN ISMAEL ISMAEL

    Doktora

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik MühendisliğiGebze Teknik Üniversitesi

    Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. KORAY KAYABOL

    DOÇ. DR. ERCHAN APTOULA