Dynamic fusion networks for predicting saliency in videos
Videolarda belirginlik tahmini için dinamik tümleştirme ağları
- Tez No: 781609
- Danışmanlar: DOÇ. DR. MEHMET ERKUT ERDEM, DOÇ. DR. İBRAHİM AYKUT ERDEM
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 117
Özet
Belirginlik tahmini yöntemleri, bir sahnedeki en uygun alanların işlenmesine yardımcı olarak insan görsel dikkat mekanizmalarının modellenmesini amaçlamaktadır. Başka bir deyişle, belirginlik tahmin yöntemlerinin amacı, bir sahnedeki dikkat çekici bölgeleri tespit etmek için hesaplamalı bir model geliştirmektir. Bu alandaki literatür, sahnenin karakteristiğine göre iki ayrı başlık altında gruplanabilir: Sabit görüntüleri ele alan statik ve video sekanslarını ele alan dinamik sahnelerde belirginlik tahmini yöntemleri. Statik belirginlik çalışmalarının çokluğu ve çeşitliliği ile karşılaştırıldığında, dinamik belirginlik hala keşfedilmemiş bir alan olarak tanımlanabilir. Videolardaki belirginliği tahmin etmek, özellikle videoların sürekli değişen, dinamik doğası düşünüldüğünde, uzamsal ve zamansal bilgiler arasındaki etkileşimlerin karmaşık modellemesi nedeniyle zorlu bir problemdir. Son yıllarda araştırmacılar, video belirginliği için neyin önemli olduğunu anlamanın bir yolu olarak derin öğrenmeden yararlanan büyük ölçekli veri kümeleri ve modeller önerdiler. Ancak bu yaklaşımlar, uzamsal ve zamansal özellikleri statik bir şekilde birleştirmeyi öğrenirler ve video içeriğindeki değişikliklere kendilerini uyarlamakta yetersiz kalırlar. Bu tez kapsamında, geçitli füzyon (gated fusion) mekanizması aracılığıyla dinamik bir şekilde tahminler yapabilen ilk derin belirginlik modeli olan Geçitli Füzyon Network'ü (GFSalNet) tanıtmakta ve önerilen modeli kullanarak uyarlamalı birleştirme stratejisinin etkinliğini araştırmaktayız. Ayrıca, modelimiz çok ölçekli bir mimaride mekansal ve kanal bazında dikkat modüllerini (attention modules) kullanmakta ve bu da son derece doğru tahminlere olanak tanımaktadır. Önerilen yaklaşım altı farklı veri kümesi üzerinde değerlendirilmiştir ve deneysel analizlerimiz, önerilen dinamik modelin en son teknolojiye göre bazı metriklerde daha iyi performans gösterdiğini, diğerlerinde ise oldukça yakın bir performans sergilediğini gösteriyor. Daha da önemlisi, yaptığımız çeşitli deneylerle modelin iyi bir genelleme yeteneğine sahip olduğunu ve ayrıca uyarlanabilir füzyon şeması aracılığıyla zamansal bilgileri daha etkin bir şekilde kullandığını gösteriyoruz. Dinamik sahnelerin zamansal ve uzamsal bileşenlerinin ve uyarlanabilir füzyon stratejisinin etkilerinin ayrıntılı analizleri, niteliksel ve niceliksel sonuçlarla desteklenmektedir.
Özet (Çeviri)
Saliency estimation methods aim to model the human visual attention mechanisms which help to process the most relevant regions in a scene. In other words, the saliency estimation methods' goal is to develop a computational model to detect attention grabbing regions in a scene. The literature consists of the methods grouped under two different branch according to the characteristics of the scene; static and dynamic (video). Compared to static saliency studies, dynamic saliency is still unexplored. Predicting saliency in videos is a challenging problem due to complex modeling of interactions between spatial and temporal information, especially when ever-changing, dynamic nature of videos is considered. In recent years, researchers have proposed large-scale datasets and models that take advantage of deep learning as a way to understand what's important for video saliency. These approaches, however, learn to combine spatial and temporal features in a static manner and do not adapt themselves much to the changes in the video content. In this thesis, we introduce Gated Fusion Network for dynamic saliency (GFSalNet), the first deep saliency model capable of making predictions in a dynamic way via gated fusion mechanism and investigate the efficiency of adaptive combining strategy by using the proposed model. Moreover, our model also exploits spatial and channel-wise attention within a multi-scale architecture that further allows for highly accurate predictions. We evaluate the proposed approach on a number of datasets, and our experimental analysis demonstrates that it outperforms or is highly competitive with the state of the art. Importantly, we show that it has a good generalization ability, and moreover, exploits temporal information more effectively via its adaptive fusion scheme. The detailed analyzes of the effects of the temporal and spatial components of the dynamic scenes and adaptive fusion strategy are demonstrated via qualitative and quantitative results.
Benzer Tezler
- Deep learning based saliency prediction in videos
Videolarda derin oğrenme tabanlı belirginlik kestirimi
ÇAĞDAŞ BAK
Yüksek Lisans
İngilizce
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. İBRAHİM AYKUT ERDEM
- Feasibility analysis based on advanced deep learning techniques in integrating renewable energy resources into microgrids
Yenilenebilir enerji kaynaklarının mikroşebekelere entegre edilmesinde gelişmiş derin öğrenme tekniklerine dayalı uygulanılabilirlik analizi
FATHI FARAH FADOUL FATHI FARAH FADOUL
Doktora
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
DOÇ. DR. RAMAZAN ÇAĞLAR
- Artificial neural network based dynamic forecaster selection in joint forecasting-scheduling for the internet of things
Nesnelerin interneti için bütünleşik tahmin çizelgelemede yapay sinir ağı tabanlı dinamik tahminleyici seçimi
ERDEM ÇAKAN
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik MühendisliğiYaşar ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. VOLKAN RODOPLU
PROF. DR. CÜNEYT GÜZELİŞ
- Bilişsel radyo ağlarda spektrum algılama veri sahtecilik saldırılarına karşı iş çıkarma oranının artırılması
Increasing the throughput rate against spectrum sensing data falsification attacks in cognitive radio networks
HÜSEYİN DOĞAN
Yüksek Lisans
Türkçe
2024
Mühendislik BilimleriDüzce ÜniversitesiSiber Güvenlik Ana Bilim Dalı
DOÇ. DR. MUHAMMED ENES BAYRAKDAR
- Investigation of multi-fidelity data fusion techniques to obtain an aerodynamic database for a generic fighter aircraft
Jenerik savaş uçağı için aerodinamik veri tabanı elde etmek amacıyla çoklu doğruluklu veri birleştirme tekniklerinin incelenmesi
BURHAN NECATİ KIZILOĞLU
Yüksek Lisans
İngilizce
2024
Havacılık ve Uzay MühendisliğiSivas Bilim ve Teknoloji ÜniversitesiSavunma Teknolojileri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YAŞAR OSTOVAN