Multi-modal video summarization using hidden Markov models for content-based multimedia indexing
İçerik tabanlı çokluortam endekslemesi için ses ve görüntü bilgisi yardımıyla saklı Markov modeli kullanarak video özetleme
- Tez No: 143337
- Danışmanlar: DOÇ. DR. AYDIN ALATAN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Video özetleme, saklı Markov modelleri, içerik tabanlı endeksleme, Video summarization, hidden Markov models, content-based indexing
- Yıl: 2003
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 75
Özet
Bu tez çalışması öyküye dayanan videoların sahne seviyesinde özetlenmesi üzerine bir çalışmadır. Probleme iki ayrı bakış açısından yaklaşılmıştır. Birinci yaklaşım videoların bütün halinde modellenmesini öngörmektedir. Elde edilen model yardımıyla sahne sınırlan belirlenmektedir. İkinci yaklaşım farklı türdeki sahneler için modeller oluşturulmasına ve videonun analizi sırasında sahne türlerinin belirlenmesine dayanmaktadır. Her iki yöntemde de kullanılan modeller saklı Markov modelleridir. Birinci yöntemde tez kapsamında kısaca değinilen video özetleme ile video prodüksiyonu arasındaki ilişkiden yararlanmak için içerik türleri tanımlanmıştır. Sistemde iki içerik türü gerçeklenmiş (hareket ağırlıklı içerik ve diyalog ağırlıklı içerik) ve yapılan deneylerde gereklilikleri doğrulanmıştır. Farklı içerik türleri farklı saklı Markov modelleri ve öznitelikler kullanmaktadır. İçerik türüne göre seçilen model videoyu bir bütün olarak işleyip bölütlemektedir. İkinci yöntemde ise sahne türleri modellenmektedir. Farklı modeller ve öznitelikler kullanan iki sahne türü belirlenmiştir: hareketli sahneler ve diyalog sahneleri. Girdi videonun sabit uzunluktaki parçalan iki sahne türünden birisine sınıflanır, ve her parça ayrı ayrı sahne türüne göre bölütlenir. İki yöntemin performansı görsel öselliklere ve video yapısıyla ilgili kurallara dayanan bir topaklama metoduyla karşılaştınlmıştır. Saklı Markov modelleri kullanarak içerik türüne bağlı video özetleme en iyi performansa sahiptir.
Özet (Çeviri)
This thesis deals with scene level summarization of story-based videos. Two different approaches for story-based video summarization are investigated. The first approach probabilistically models the input video and identifies scene boundaries using the same model. The second approach models scenes and classifies scene types by evaluating likelihood values of these models. In both approaches, hidden Markov models are used as the probabilistic modeling tools. The first approach also exploits the relationship between video summarization and video production, which is briefly explained, by means of content types. Two content types are defined, dialog driven and action driven content, and the need to define such content types is demonstrated by simulations. Different content types use different hidden Markov models and features. The selected model segments input video as a whole. The second approach models scene types. Two types, dialog scene and action scene, are defined with different features and models. The system classifies fixed sized partitions of the video as either of the two scene types, and segments partitions separately according to their scene types. Performance of these two systems are compared against a deterministic video summarization method employing clustering based on visual properties and video structure related rules. Hidden Markov model based video summarization using content types enjoys the highest performance.
Benzer Tezler
- Affect recognition based on key frame selection from video
Videodan anahtar çerçeve seçimine dayalı duygu tanıma
MEHMET KAYAOĞLU
Yüksek Lisans
İngilizce
2016
Elektrik ve Elektronik MühendisliğiBahçeşehir ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ÇİĞDEM EROĞLU ERDEM
- Türkçe dersinde ağ araştırması'na dayalı öğretim: Bir eylem araştırması
Webquest-based teaching in Turkish lesson: An action research
HACER ULU
- Duygu bazlı video özetleme
Affective video summarization
BERKAY KÖPRÜ
Doktora
İngilizce
2022
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ENGİN ERZİN
- Video classification and retrieval with low data regime learning
Düşük veri rejimi öğrenimi ile video sınıflandırma ve geri alma
EROL ÇITAK
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MİNE ELİF KARSLIGİL
- Draw, utter and search: a multi-modal video search engine
Çiz, konuş ve arat: Çok kipli bir video arama sistemi
OZAN CAN ALTIOK
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. TEVFİK METİN SEZGİN
