A transformer-based approach for fusing infrared and visible band images
Kızılötesi ve görünür bant görüntülerin birleştirilmesi için transformer tabanlı bir yaklaşım
- Tez No: 827161
- Danışmanlar: DOÇ. DR. ELİF SÜRER, DOÇ. DR. ERDEM AKAGÜNDÜZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Sayısal görüntü işleme, Digital image processing
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Modelleme ve Simülasyon Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Görüntü füzyonu, farklı sensörlerden elde edilen görüntülerin birleştirilerek tamamlayıcı bilgilerden yararlanan tek bir görüntü oluşturulması sürecidir. Son zamanlarda, farklı sensörlerden elde edilen görüntülerin birleştirilerek geliştirilmiş bir görüntü elde etme konusunda büyük bir ilgi artışı yaşanmaktadır. Derin öğrenme yöntemleri, görüntü füzyonu için anlamlı özelliklerin çıkarılmasında yaygın olarak kullanılmaktadır; ancak bu yöntemler genellikle yerel özelliklerin entegrasyonuna odaklanırken görüntünün daha geniş bağlamını dikkate almamaktadır. Bu kısıtlamayı aşmak için Transformer tabanlı modeller, dikkat mekanizmaları aracılığıyla genel bağlamlı bağımlılıkları yakalamayı hedefleyen umut vaat eden bir çözüm olarak ortaya çıkmıştır. Bu doğrultuda, yerel ve genel bağlam bilgisini etkili bir şekilde dikkate alan bir transformer tabanlı çok ölçekli füzyon stratejisi içeren yeni bir görüntü füzyon yaklaşımı önermekteyiz. Önerdiğimiz yöntem, ilk aşamada bir otokodlayıcı ile çok ölçekli derin özelliklerin çıkarılmasını sağlayan iki aşamalı bir eğitim yaklaşımını takip etmektedir. Ardından, çok ölçekli özellikler, Konvolüsyonel Sinir Ağları (CNN'ler) ve Transformer'ların bir kombinasyonu kullanılarak birleştirilmektedir. CNN'ler yerel özellikleri yakalamak için kullanılırken, Transformer genel bağlam özelliklerini entegre etmekten sorumludur. Benzer yöntemlere kıyasla, füzyon için gerçek değeri olmayan bir kayıp fonksiyonu tanımlama zorluklarını ele almak için yeni kayıp fonksiyonları önermekteyiz. Çeşitli benchmark veri kümeleri üzerinde yapılan kapsamlı deneylerle, önerilen yöntemimiz ve yeni kayıp fonksiyonu tanımı, diğer rekabetçi füzyon algoritmalarına kıyasla üstün performans sergilemektedir. Genel olarak, bu tez, görüntü füzyon tekniklerinde önemli ilerlemeler sunmakta, yenilikçi yaklaşımlar sunmakta ve bu alandaki en son teknolojiye katkıda bulunmaktadır.
Özet (Çeviri)
Image fusion is a process where images obtained from different sensors are combined to generate a single image that benefits from complementary information. Recently, there has been a growing interest in image fusion, which involves fusing images from diverse sensors to produce an enhanced image. Although deep learning methods have been widely employed in state-of-the-art techniques to extract meaningful features for image fusion, these methods primarily focus on integrating local features while disregarding the broader context within the image. To overcome this limitation, Transformer-based models have emerged as a promising solution, aiming to capture general context dependencies through attention mechanisms. Inspired by this, we propose a novel image fusion approach that incorporates a transformer-based multi-scale fusion strategy, effectively considering both local and general context information, thus enhancing the overall fusion process. Our proposed method follows a two-stage training approach, where an auto-encoder is initially trained to extract deep features at multiple scales. Subsequently, the multi-scale features are fused using a combination of Convolutional Neural Networks (CNNs) and Transformers. The CNNs are utilized to capture local features, while the Transformer handles the integration of general context features. Notably, in contrast to similar methods, we propose novel loss functions to address the challenges associated with defining a loss function when ground truth for fusion is absent. Through extensive experiments on various benchmark datasets, our proposed method, along with the novel loss function definition, demonstrates superior performance compared to other competitive fusion algorithms. Overall, this thesis presents significant advancements in image fusion techniques, offering innovative approaches and contributing to the state-of-the-art in this field.
Benzer Tezler
- İletken anilin, triflorometil-anilin ve diamino-disiyano-antrakinon polimerlerinin sentezi ve karakterizasyonu
Synthesis and characterization of conductive aniline, trifluoromethyl aniline, and diamino-dicyano anthraquinone polymers
SEVİL GÜNERALP
- Ovulasyon indüksiyonu tedavisinde folliküler gelişimin ultrasonografik takibi
Başlık çevirisi yok
MERİH BAYRAM
Tıpta Uzmanlık
Türkçe
1987
Kadın Hastalıkları ve DoğumGazi ÜniversitesiKadın Hastalıkları ve Doğum Ana Bilim Dalı
DOÇ. DR. MÜLAZIM YILDIRIM
- Çimentonun sertleşmesi üzerinde kimyasal komponentlerin etkisi
Başlık çevirisi yok
NACİYE TÜRKEL
Yüksek Lisans
Türkçe
1986
Kimya MühendisliğiUludağ ÜniversitesiKimya Ana Bilim Dalı
PROF. DR. MUSTAFA CEBE
- Bazı esterlerin kinetik incelenmesi ve termodinamik parametrelerin belirlenmesi
Kinetic study and detesmination of thermodnamic parameters of some esters
İBRAHİM TAŞ
Yüksek Lisans
Türkçe
1986
Kimya MühendisliğiUludağ ÜniversitesiKimya Ana Bilim Dalı
PROF. DR. MUSTAFA CEBE
- İzmir'de bazı yolların kapatılarak yaya bölgeleri oluşturma da kent peyzajını geliştirme açısından yeniden planlanması üzerinde araştırmalar
Başlık çevirisi yok
BAHAR TÜRKYILMAZ
Yüksek Lisans
Türkçe
1985
Şehircilik ve Bölge PlanlamaEge ÜniversitesiŞehir ve Bölge Planlama Ana Bilim Dalı