Cross-modal semi-dense image matching
Çapraz-modlu yari-yoğun görüntü eşleşti̇rme
- Tez No: 899342
- Danışmanlar: PROF. DR. ABDULLAH AYDIN ALATAN, PROF. DR. SİNAN KALKAN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 99
Özet
Bu tezde, termal kızılötesi (TIR) ve görünür bant görüntüler arasında çapraz-mod, çapraz-görüş yerel özellik eşleştirmesi için yeni bir derin öğrenme tabanlı görüntü eşleştirme yöntemi sunuyoruz. Görünür bant görüntülerin aksine, TIR görüntüleri olumsuz aydınlatma ve hava koşullarına daha az duyarlıdır, ancak önemli doku ve doğrusal olmayan yoğunluk farklılıkları nedeniyle eşleştirmede zorluklar sunar. Mevcut el yapımı ve öğrenme tabanlı yöntemler, görünür-TIR eşleştirmede bakış açısı, ölçek ve doku çeşitliliklerini ele almakta yetersiz kalmaktadır. Ayrıca, termal ve görünür bant görüntülerin yoğunluk ve doku özelliklerine karşı derin öğrenme modellerini eğitmek için yeterli sayıda kesin referansa sahip veri setleri eksikliği bulunmaktadır. Bu sorunları çözmek için, gerçek termal ve görünür bant görüntülerle maskelenmiş görüntü modelleme ön eğitimi ve sahte-termal görüntü artırımı ile ince ayar yapmayı içeren iki aşamalı bir eğitim yaklaşımı sunuyoruz. Bu yaklaşım, termal ve görünür bant görüntüler arasındaki mod farklarını ele almaktadır. Ayrıca, ölçek farklılıklarını ayarlayan ve alt piksel seviyesinde iyileştirme yoluyla eşleştirme güvenilirliğini artıran rafine bir eşleştirme hattı tanıtıyoruz. Yöntemimizin farklı bakış açıları ve ölçeklerdeki görünür-TIR görüntü eşleştirme yeteneklerini ve farklı hava koşullarına karşı dayanıklılığını doğrulamak için, bulutlu ve güneşli hava koşullarında altı farklı sahneyi içeren yeni ve kapsamlı bir görünür-termal veri seti topladık. Son olarak, yöntemimizin birçok kriterde mevcut görüntü eşleştirme yöntemlerini geride bıraktığını gösteriyoruz.
Özet (Çeviri)
In this thesis, we introduce a novel deep learning-based image matching method for cross-modal, cross-view local feature matching between thermal infrared (TIR) and visible-band images. Unlike visible-band images, TIR images are less susceptible to adverse lighting and weather conditions but present difficulties in matching due to significant texture and nonlinear intensity differences. Current hand-crafted and learning-based methods for visible-TIR matching fall short in handling viewpoint, scale, and texture diversities. Additionally, there is a lack of datasets with sufficient ground truth to train deep learning models against the intensity and texture characteristics of thermal and visible images. To address these problems, our method incorporates a two-stage training approach consisting of masked image modeling pre-training with real thermal and visible images, and fine-tuning with pseudo-thermal image augmentation to handle the modality differences between thermal and visible images. Furthermore, we introduce a refined matching pipeline that adjusts for scale discrepancies and enhances match reliability through sub-pixel level refinement. To validate the visible-TIR image matching capabilities of our method at different viewpoints and scales, as well as its robustness to different weather conditions, we collected a novel comprehensive visible-thermal dataset involving six diverse scenes in both cloudy and sunny weather conditions. Finally, we show that our method outperforms existing image matching methods on multiple benchmarks.
Benzer Tezler
- Dijital hava görüntülerinden üretilen nokta bulutu ile yarı otomatik bina detayı çıkarımı
Semi automatic detection of building with point cloud data produced from digital images
PINAR YEŞİM LİMANDAL
Yüksek Lisans
Türkçe
2019
Jeodezi ve FotogrametriKaradeniz Teknik ÜniversitesiHarita Mühendisliği Ana Bilim Dalı
PROF. DR. FEVZİ KARSLI
- Motor bağlantı elemanlarının titreşim geçirgenliği üzerindeki etkilerinin incelenmesi
Vibration transmission investigation of engine mounting brackets
ALİ İSA BURSA
Yüksek Lisans
Türkçe
2019
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ OSMAN TAHA ŞEN
- Dinamik zemin model deneylerinin veri işleme analizleri ve sayısal model analizleri ile karşılaştırılması
Data processing analyses of soil model experiments and comparison with numerical model analyses results
ASLI ÇARK
Yüksek Lisans
Türkçe
2025
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. ESRA ECE BAYAT
- Döngüsel ekonomi bağlamında yağmur suyu hasadı pratiklerinin kentsel açık alanlardaki performansının ölçülmesi
Measuring the performance of rainwater harvesting practices in urban open spaces within the context of circular economy
ŞAZİYE LOFCALI
Yüksek Lisans
Türkçe
2025
Peyzaj Mimarlığıİstanbul Teknik ÜniversitesiPeyzaj Mimarlığı Ana Bilim Dalı
PROF. DR. HAYRİYE EŞBAH TUNÇAY
- Köy okullarında görev yapan fen bilimleri öğretmenlerinin uzaktan eğitime yönelik tutumları ve görüşleri
Attitudes and views of science teachers working in village schools towards distance education
KÜBRA ÇAKMAK
Yüksek Lisans
Türkçe
2022
Eğitim ve ÖğretimTokat Gaziosmanpaşa ÜniversitesiMatematik ve Fen Bilimleri Eğitimi Ana Bilim Dalı
PROF. DR. AYKUT EMRE BOZDOĞAN