Self-supervised deep learning for multispectral image matching
Kendinden denetimli derin öğrenme ile multispektral görüntü eşleştirme
- Tez No: 981748
- Danışmanlar: PROF. DR. HASAN FEHMİ ATEŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Özyeğin Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, çok spektrumlu görüntü eşlemesinde spektral modaliteler arası doğrusal olmayan ışınım bozulmaları, görüş açısı farklılıkları ve etiketli veri eksikliği gibi temel zorlukları çözmeyi hedefleyen özdenetimli bir derin öğrenme çerçevesi sunmaktadır. Mevcut yöntemler genellikle tek bir modaliteye bağımlıdır ve derinlik haritaları veya kalibre edilmiş kamera pozları gibi maliyetli zemin doğrularına büyük ölçüde dayanır; bu durum, yöntemlerin farklı spektral alanlarda genelleştirilebilirliğini sınırlandırmaktadır. Bu bağlamda geliştirilen çerçeve,“Geliştirilmiş Multispektral Homografik Adaptasyon”adlı özdenetimli öğrenme stratejisidir. Bu strateji, spektral farklılıklar altında anahtar nokta tespiti açısından daha yüksek tekrar edilebilirlik ve yoğunluk sağlayan, spektruma duyarlı bir pencereleme kuralı içermektedir. Bu sayede, farklı spektrumlarda daha güvenilir yapay zemin doğrusu anahtar noktaları üretilebilmekte ve eşleştirme performansı artırılmaktadır. Bu iyileştirme, insansız hava araçları (İHA) ile elde edilen görünür-termal veri kümeleri üzerinde test edilmiştir. Bu özdenetim stratejisi üzerine inşa edilen XPoint, modüler ve tamamen özdenetimli bir görüntü eşleştirme mimarisi olarak tasarlanmıştır. XPoint, sağlam ve modaliteden bağımsız öznitelik çıkarımı için önceden eğitilmiş bir \acs{VMamba} kodlayıcıyı; anahtar nokta tespiti, öznitelik tanımlaması ve homografi regresyonu içinse kod çözücü başlıkları entegre etmektedir. Bu tasarım, hizalanmış görüntü çiftlerinden etiket gerektirmeyen, hızlı uyum sağlayabilen ve ölçeklenebilir bir öğrenme süreci sunmaktadır. Sistem, görüntü çiftlerinin hizalanması dışında ek bir denetim gerektirmeyen esnek bir yapıya sahiptir. Geliştirilen yöntem, görünür-termal, görünür-NIR, görünür-IR, görünür-LWIR ve görünür-SAR olmak üzere beş farklı açık kaynak veri kümesi üzerinde değerlendirilmiştir. Deneysel sonuçlar, önerilen çerçevenin öznitelik eşleştirme ve multispektral görüntü çakıştırma görevlerinde, yüksek hesaplama verimliliğini korurken, rekabetçi veya üstün performans gösterdiğini ortaya koymaktadır. Bu ilerleme, spektruma duyarlı özdenetimden genelleştirilebilir bir eşleştirme çerçevesine uzanan yapısıyla XPoint'i, sınırlı denetim ve yüksek spektral değişkenlik içeren gerçek dünya multispektral problemleri için pratik bir çözüm haline getirmektedir.
Özet (Çeviri)
This thesis presents a self-supervised deep learning framework for multispectral image matching, addressing the core challenges posed by nonlinear radiation distortions (NRDs), viewpoint variations across spectral modalities, and the scarcity of annotated datasets. Existing methods often exhibit strong modality dependence and rely heavily on costly supervision, such as depth maps or calibrated camera poses, thereby limiting their generalizability across diverse spectral domains. The framework introduces an improved self-supervision strategy—Improved Multispectral Homographic Adaptation—that enhances pseudo ground truth keypoint generation in cross-spectral settings while ensuring invariance to viewpoint changes. By incorporating a spectrum-aware windowing rule, this method increases both the repeatability and the density of detected keypoints under spectral differences, thereby improving matching performance. This enhancement ultimately leads to more accurate multispectral image registration and is validated on UAV-acquired visible–thermal datasets. Building on this self-supervision strategy, the XPoint framework is proposed as a modular and fully self-supervised image matching architecture. It integrates a pretrained VMamba encoder for robust, modality-invariant feature extraction, alongside lightweight decoder heads for keypoint detection, feature description, and homography regression. This design enables efficient, label-free learning from aligned image pairs and facilitates rapid adaptation across diverse spectral modalities. The framework is designed to be scalable and easily adaptable, requiring no additional supervision beyond image pair alignment. The approach is evaluated across five public benchmarks spanning VIS-TH, VIS-NIR, VIS-LWIR, VIS-SAR datasets. Experimental results demonstrate competitive or superior performance in feature matching and multispectral image registration tasks, while maintaining high computational efficiency. This progression—from spectrum-aware self-supervision to a generalizable matching framework—positions XPoint as a practical solution for real-world multispectral applications, particularly in environments characterized by limited supervision and high spectral variability.
Benzer Tezler
- Single-frame and multi-frame super-resolution on remote sensing images via deep learning approaches
Derin öğrenme yaklaşımlarıyla uzaktan algılama görüntülerinde tek çerçeve ve çok çerçeve süper çözünürlük
PEIJUAN WANG
Doktora
İngilizce
2022
İletişim Bilimleriİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Hiperspektral görüntülerde yarı güdümlü öğrenme teknikleri
Semi supervised learning techniques on hyperspectral images
MUHAMMET SAİD AYDEMİR
Doktora
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKHAN BİLGİN
- Self-supervised representation learning with graph neural networks for region of interest analysis in breast histopathology
Meme histopatolojisinde ilgi alanı gösterimlerinin çizgesel sinir ağları ile kendinden gözetimli öğrenimi
YİĞİT ÖZEN
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SELİM AKSOY
- Hybrıd self-supervısed adaptatıon frameworks wıth sımulated annealıng and bayesıan optımızatıon for human actıvıty recognıtıon ın ıot
Iot'de insan aktivitesi tanıma için simüle tavlama ve bayesyen optimizasyon ile hibrit kendi kendine denetimli adaptasyon çerçeveleri
MOHAMMED MAJID ABDULRAZZAQ
Doktora
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ NEHAD T.A RAMAHA
- Deshufflegan: Self-supervised learning for generative adversarial networks
Deshufflegan: Çekişmeli üretken ağlar için öz-denetimli öğrenme
GÜLÇİN BAYKAL CAN
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. GÖZDE ÜNAL