Generating stories from large scale image collections
Büyük ölçekli görüntü derlemlerinden öykü oluşturma
- Tez No: 645602
- Danışmanlar: DOÇ. DR. İBRAHİM AYKUT ERDEM
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 118
Özet
Web'de mevcut olan ve giderek artan miktarda görsel veriyi anlamak, bugün karşılaştığımız en büyük zorluklardan biridir. Bu hedefe doğru bir adım olarak, bu çalışma literatürde nispeten daha az çalışılmış bir konu olan“tamamen güdümsüz olarak büyük ölçekli fotoğraf kümelerinden yapısal özetler oluşturma”konusunu ele almaktadır. Metodolojimiz, verideki ana anlatıları ve karmaşık ilişkileri yakalayan ve bir dizi (muhtemelen kesişen) öykü yollarından oluşan bir yönlendirilmiş grafik oluşturmaya dayanır. Önerdiğimiz yöntem, veriden tutarlı görsel öykü şeritlerini çıkartır ve bu şeritlerin maksimum kapsama sahip bir alt kümesini seçmek için alt-modülerlikten yararlanır. Çeşitli deneyler ve kullanıcı çalışmaları, yaklaşımın önceki yöntemlerden daha iyi performans sağladığını göstermektedir. Ayrıca, bu çalışma görsel dikkat ve görüntü semantiğinin görüntü hatırlanabilirliği üzerindeki rolünü araştırmaktadır. Özellikle, dikkate dayalı bir havuzlama stratejisi kullanarak görüntülerin dikkat çekici kısımlarından gelen görüntü özelliklerinin kullanılması, hatırlanabilirlik tahmin sonuçlarını iyileştirdiğini göstermektedir. Ayrıca, meta-düzey nesne kategorilerini, sahne niteliklerini ve duyguları kodlayan özelliklerin bir analizini yaparak görüntülerin farklı semantik özelliklerini araştırmaktadır. Görüntülerden otomatik olarak çıkarılan bu özelliklerin, neredeyse insanlardan toplanan hatırlanabilirlik tahmin skorlarına yakın hatırlanabilirlik tahminleri sağladığı gösterilmektedir. Son olarak, hatırlanabilirlik özelliğini estetikle birlikte öykü grafiği oluşturma methodolojisine dahil ederek, içsel özelliklerin öykü grafikleri üzerindeki etkileri araştırılmaktadır. Oluşturulan yeni öykü grafikleri üzerinde gerçekleştirilen deneyler, grafiklerin bir öncül bilgi tabanı olarak kullanıldığında daha iyi sonuçlar verdiğini göstermektedir.
Özet (Çeviri)
Making sense of ever-growing amount of visual data that is available on the web is one of the biggest challenges we face today. As a step towards this goal, this study tackles a relatively less-studied topic in the literature, namely generating structured summaries of large photo collections in a purely unsupervised manner. Our methodology relies on the notion of a story graph which captures the main narratives in the data and their complex relationships by means of a directed graph with a set of (possibly intersecting) paths. Our proposed method identifies coherent visual story lines and exploits submodularity to select a subset of these lines which have the maximum coverage. Various experiments and user studies demonstrate that the approach delivers better performance than the previous methods. Furthermore, this study explores the role of visual attention and image semantics in understanding image memorability. In particular, we present an attention-driven spatial pooling strategy and show that considering image features from the salient parts of images improves the results of the previous models. We also investigate different semantic properties of images by carrying out an analysis of a diverse set of semantic features which encode meta-level object categories, scene attributes, and invoked feelings. We show that these features which are automatically extracted from images provide memorability predictions as nearly accurate as those derived from human annotations. Finally, by incorporating the memorability property together with aesthetics into the story graph generation framework, the effects of intrinsic properties on story graphs are explored. Experiments utilizing these memorable and aesthetic story graphs as a prior knowledge base show further improvements.
Benzer Tezler
- Mimari tasarımda yapay zeka: Evrişimli yapay sinir ağlarının vaziyet planı tasarımında kullanımı
Artificial intelligence in architectural design: The use of convolutional neural networks in site plan design
MUSTAFA KEMAL KAYIŞ
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiGayrimenkul Geliştirme Ana Bilim Dalı
PROF. DR. HAKAN YAMAN
- Development of a method to determine root and suffixes for Turkish words to generate large scale Turkish corpus
Büyük ölçekli Türkçe derlem oluşturmak için Türkçe kelimelerin kök ve eklerini belirlemek için yöntem geliştirme
ÖZLEM VARLIKLAR
Yüksek Lisans
İngilizce
2005
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDokuz Eylül ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YALÇIN ÇEBİ
- Yerleşim sınıfı için çoklu gösterim veritabanının oluşturulması: Gösterim seviyelerini türetme, obje eşleştirme, güncelleme
Creating multiple representation database for population class: Deriving representation levels, object matching, updating
OSMAN NURİ ÇOBANKAYA
Doktora
Türkçe
2015
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. NESİBE NECLA ULUĞTEKİN
- The effect of store atmosphere on store loyalty intentions of department store customers in istanbul
Mağaza atmosferinin istanbul'daki departmanlı mağaza müşterilerinin sadakat niyetleri üzerindeki etkisi
HASİBE ECE BİLGİÇ
Yüksek Lisans
İngilizce
2007
İşletmeMarmara Üniversitesiİşletme (İngilizce) Ana Bilim Dalı
Y.DOÇ.DR. AZİZE MÜGE YALÇIN
- Deprem etkisindeki yapılarda aktif ve pasif kontrol sistemlerinin uygulanması
Başlık çevirisi yok
BARIŞ SARI
Yüksek Lisans
Türkçe
1998
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. A. NECMETTİN GÜNDÜZ