A transformer-based approach for fusing infrared and visible band images
Kızılötesi ve görünür bant görüntülerin birleştirilmesi için transformer tabanlı bir yaklaşım
- Tez No: 827161
- Danışmanlar: DOÇ. DR. ELİF SÜRER, DOÇ. DR. ERDEM AKAGÜNDÜZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Modelleme ve Simülasyon Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 103
Özet
Görüntü füzyonu, farklı sensörlerden elde edilen görüntülerin birleştirilerek tamamlayıcı bilgilerden yararlanan tek bir görüntü oluşturulması sürecidir. Son zamanlarda, farklı sensörlerden elde edilen görüntülerin birleştirilerek geliştirilmiş bir görüntü elde etme konusunda büyük bir ilgi artışı yaşanmaktadır. Derin öğrenme yöntemleri, görüntü füzyonu için anlamlı özelliklerin çıkarılmasında yaygın olarak kullanılmaktadır; ancak bu yöntemler genellikle yerel özelliklerin entegrasyonuna odaklanırken görüntünün daha geniş bağlamını dikkate almamaktadır. Bu kısıtlamayı aşmak için Transformer tabanlı modeller, dikkat mekanizmaları aracılığıyla genel bağlamlı bağımlılıkları yakalamayı hedefleyen umut vaat eden bir çözüm olarak ortaya çıkmıştır. Bu doğrultuda, yerel ve genel bağlam bilgisini etkili bir şekilde dikkate alan bir transformer tabanlı çok ölçekli füzyon stratejisi içeren yeni bir görüntü füzyon yaklaşımı önermekteyiz. Önerdiğimiz yöntem, ilk aşamada bir otokodlayıcı ile çok ölçekli derin özelliklerin çıkarılmasını sağlayan iki aşamalı bir eğitim yaklaşımını takip etmektedir. Ardından, çok ölçekli özellikler, Konvolüsyonel Sinir Ağları (CNN'ler) ve Transformer'ların bir kombinasyonu kullanılarak birleştirilmektedir. CNN'ler yerel özellikleri yakalamak için kullanılırken, Transformer genel bağlam özelliklerini entegre etmekten sorumludur. Benzer yöntemlere kıyasla, füzyon için gerçek değeri olmayan bir kayıp fonksiyonu tanımlama zorluklarını ele almak için yeni kayıp fonksiyonları önermekteyiz. Çeşitli benchmark veri kümeleri üzerinde yapılan kapsamlı deneylerle, önerilen yöntemimiz ve yeni kayıp fonksiyonu tanımı, diğer rekabetçi füzyon algoritmalarına kıyasla üstün performans sergilemektedir. Genel olarak, bu tez, görüntü füzyon tekniklerinde önemli ilerlemeler sunmakta, yenilikçi yaklaşımlar sunmakta ve bu alandaki en son teknolojiye katkıda bulunmaktadır.
Özet (Çeviri)
Image fusion is a process where images obtained from different sensors are combined to generate a single image that benefits from complementary information. Recently, there has been a growing interest in image fusion, which involves fusing images from diverse sensors to produce an enhanced image. Although deep learning methods have been widely employed in state-of-the-art techniques to extract meaningful features for image fusion, these methods primarily focus on integrating local features while disregarding the broader context within the image. To overcome this limitation, Transformer-based models have emerged as a promising solution, aiming to capture general context dependencies through attention mechanisms. Inspired by this, we propose a novel image fusion approach that incorporates a transformer-based multi-scale fusion strategy, effectively considering both local and general context information, thus enhancing the overall fusion process. Our proposed method follows a two-stage training approach, where an auto-encoder is initially trained to extract deep features at multiple scales. Subsequently, the multi-scale features are fused using a combination of Convolutional Neural Networks (CNNs) and Transformers. The CNNs are utilized to capture local features, while the Transformer handles the integration of general context features. Notably, in contrast to similar methods, we propose novel loss functions to address the challenges associated with defining a loss function when ground truth for fusion is absent. Through extensive experiments on various benchmark datasets, our proposed method, along with the novel loss function definition, demonstrates superior performance compared to other competitive fusion algorithms. Overall, this thesis presents significant advancements in image fusion techniques, offering innovative approaches and contributing to the state-of-the-art in this field.
Benzer Tezler
- Development and structural determination of antiangiogenic recombinant antibody structures for cancer treatment
Kanser tedavisine yönelik antianjiogenik rekombinant antikor yapılarının geliştirilmesi ve yapısal tayini
MELİS DENİZCİ ÖNCÜ
Doktora
İngilizce
2022
Biyomühendislikİstanbul Teknik ÜniversitesiMoleküler Biyoloji-Genetik ve Biyoteknoloji Ana Bilim Dalı
PROF. DR. GİZEM DİNLER DOĞANAY
DR. AYLİN ÖZDEMİR BAHADIR
- Flight deck centered cost efficient 4D trajectory planning
Kokpit otomasyonu tabanlı 4D rota planlaması
MEVLÜT UZUN
Yüksek Lisans
İngilizce
2015
Havacılık Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
PROF. DR. GÖKHAN İNALHAN
- Leveraging transformer models for enhanced time series forecasting of export amounts
İhracat miktarlarının gelişmiş zaman serisi tahmini için transformatör modellerinden yararlanma
ÇAĞRI COŞKUN
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAtılım ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
DOÇ. DR. BEYTULLAH YILDIZ
PROF. DR. ALİ YAZICI
- Alana özel anlamsal ilişki çıkarımı için bir yöntemin geliştirilmesi
Development of a domain-specific relation extraction method
VAHAB MOSTAFAPOUR
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. OĞUZ DİKENELLİ
- Yeni bir yaklaşımla yük profillerinin oluşturulması ve dağıtım sistemlerinde teknik kayıpların tahmini
A novel approach for load profile formation and technical loss estimation of electrical disrtibution systems
GİZEM TULUN
Yüksek Lisans
Türkçe
2016
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
PROF. DR. ÖMER USTA