Geri Dön

Enhancing hyperspectral and multispectral image fusion using high dimensional model representation

Yüksek boyutlu model gösterimi kullanılarak hiperspektral ve multispektral görüntü füzyonunun iyileştirilmesi

PDF İndir

  1. Tez No: 953773
  2. Yazar: EFE KAHRAMAN
  3. Danışmanlar: DR. ÖĞR. ÜYESİ SÜHA TUNA
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilişim Uygulamaları Ana Bilim Dalı
  12. Bilim Dalı: Bilgi ve Haberleşme Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 71

Özet

Spektral görüntüleme, elektromanyetik dalgaların doğrudan yayılımı veya yüzeylerden yansıması sonucu oluşan reflektans seviyelerinin farklı dalga boylarında ölçülmesini mümkün kılan gelişmiş bir uzaktan algılama teknolojisidir. Bu teknoloji, elektromanyetik spektrumun belirli aralıklarında elde edilen yansıma verilerini analiz ederek gözlemlenen nesne ya da yüzeylerin fiziksel ve kimyasal özellikleri hakkında ayrıntılı bilgi sunar. Ölçülen reflektans değerleri, hem gönderilen elektromanyetik sinyalin dalga boyuna (ya da frekansına) hem de taranan nesnenin veya yüzeyin materyal özelliklerine bağlı olarak değişkenlik gösterir. Belirli bir yüzeyin farklı dalga boylarındaki yansıtma davranışını ifade eden bu karakteristik reflektans dağılımı,“spektral imza”olarak tanımlanır. Her malzeme ya da nesne, elektromanyetik spektrumda kendine özgü, ayırt edici bir spektral imzaya sahiptir. Bu bağlamda spektral görüntüleme, gözlemlenen nesne veya yüzeylerin bu spektral imzaları üzerinden tanımlanmasını, sınıflandırılmasını ve ayrıştırılmasını sağlayan güçlü bir analiz aracı olarak öne çıkar. Özellikle tarım, madencilik, çevresel izleme, biyomedikal görüntüleme ve savunma gibi pek çok alanda nesnelerin içerik ve yapılarına dair detaylı çıkarımlar yapılmasına olanak tanır. Spektral görüntülemenin tipik olarak iki ana kategorisi vardır: hiperspektral görüntüleme ve multispektral görüntüleme. Hiperspektral görüntüleme, elektromanyetik spektrumun geniş ve sürekli bir aralığını kapsayan, çok sayıda (çoğunlukla yüzlerce, bazı durumlarda ise bine yakın) dar bantlı spektral kanallardan oluşan bir görüntüleme teknolojisidir. Bu spektral bantlar, hem spektral olarak birbirine komşu olacak şekilde düzenlenmiş hem de bant genişlikleri oldukça sınırlı tutulmuştur. Bu yapı, her bir pikselin farklı dalga boylarında ayrıntılı yansıma (reflektans) verileriyle temsil edilmesini mümkün kılar. Spektral bant genişliğinin dar olması, farklı materyallerin özgün spektral imzalarının ince detaylarını hassas biçimde yakalayarak yüksek spektral çözünürlük elde edilmesini sağlar. Bu durum, özellikle sınıflandırma, malzeme ayrımı ve hedef tespiti gibi uygulamalarda önemli avantajlar sunar. Bununla birlikte, spektral bantların dar olması, her bir bandın daha az foton toplayabilmesine yol açar. Bu durum, bant başına düşen sinyal gücünün azalmasına ve dolayısıyla sinyal-gürültü oranının (SNR) düşmesine neden olur. Sonuç olarak, düşük SNR'ye sahip hiperspektral görüntülerde uzamsal çözünürlük sınırlı kalmakta ve görüntü kalitesi, özellikle ince yapılar veya küçük nesnelerin tespitinde, belirli ölçüde azalmaktadır. Bu nedenle, hiperspektral sistemler yüksek spektral çözünürlük sağlarken, uzamsal çözünürlük açısından belirli kısıtlamalarla karşı karşıyadır. Multispektral görüntüleme, hiperspektral görüntülemeye kıyasla çok daha az sayıda spektral bant kullanan bir görüntüleme yaklaşımıdır; genellikle bu bantların sayısı 3 ila 15 arasında değişmektedir. Kullanılan spektral bantlar, hem geniş bant genişliklerine sahiptir hem de elektromanyetik spektrum üzerinde birbirinden ayrı, ayrık (discrete) dalga boylarına yerleştirilmiştir. Bu yapı, spektrumun sürekli bir bölümünü kapsamasa da, geniş aralıklarla seçilmiş frekanslar üzerinden genel bir spektral kapsama sağlamaktadır. Spektral bant genişliklerinin fazla olması, her bir bandın daha fazla foton yakalayabilmesine olanak tanır; bu da yüksek sinyal-gürültü oranı (SNR) elde edilmesini mümkün kılar. Yüksek SNR sayesinde multispektral görüntüler, özellikle uzamsal ayrıntıların korunması açısından avantaj sağlar ve yüksek uzamsal çözünürlük sunar. Ancak, bant genişliklerinin fazla olması nedeniyle, materyallerin karakteristik spektral imzalarındaki ince detaylar yeterince hassas biçimde ayrıştırılamaz. Bu durum, spektral çözünürlüğün düşük kalmasına neden olur ve benzer spektral özelliklere sahip yüzeylerin veya nesnelerin ayırt edilmesinde sınırlamalar oluşturur. Dolayısıyla, multispektral görüntüleme sistemleri yüksek uzamsal çözünürlük sağlarken, spektral çözünürlük açısından hiperspektral sistemlere kıyasla daha düşük performans sergiler. Görüldüğü üzere, spektral sensörlerin kullandığı bant genişliği, spektral ve uzamsal çözünürlük arasında kaçınılmaz bir denge gerektirmektedir. Geniş spektral bantlar daha fazla foton toplayabildiği için yüksek sinyal-gürültü oranı (SNR) sunarak yüksek uzamsal çözünürlük sağlar; ancak bu durum, spektral detayların yeterince hassas biçimde yakalanamamasına ve dolayısıyla düşük spektral çözünürlüğe neden olur. Buna karşılık, dar spektral bantlar daha sınırlı sayıda foton toplayabildiğinden düşük SNR ile çalışmak zorunda kalır ve bu da uzamsal çözünürlüğün azalmasına yol açar; fakat buna rağmen, bu bantlar sayesinde spektral imzanın daha ince ayrıntıları yakalanabilir ve yüksek spektral çözünürlük elde edilebilir. Bu teknik sınırlamayı aşmak amacıyla, spektral görüntülemede hem spektral hem de uzamsal çözünürlüğü optimize etmeyi hedefleyen çeşitli görüntü füzyonu (image fusion) yöntemleri geliştirilmiştir. Özellikle hiperspektral-multispektral (HS-MS) görüntü füzyonu, hiperspektral görüntülemenin sağladığı yüksek spektral çözünürlüğü, multispektral görüntülemenin sunduğu yüksek uzamsal çözünürlükle birleştirmeyi mümkün kılar. Bu sayede, her iki veri kaynağının avantajlarını bünyesinde barındıran, hem spektral hem de uzamsal açıdan zenginleştirilmiş bir spektral görüntü elde edilerek, analiz ve yorumlama süreçlerinde daha yüksek doğruluk ve güvenilirlik sağlanır. Derin öğrenme tabanlı yaklaşımlar ile klasik matris ve tensör ayrışım teknikleri, spektral görüntü füzyonundaki çözünürlük problemini gidermeye yönelik olarak yaygın şekilde kullanılmaktadır. Derin öğrenme temelli yöntemler, genellikle farklı veri kümesi türleri arasında görüntü füzyonunu otomatikleştirmeyi ve genelleştirilebilir modeller aracılığıyla minimum insan müdahalesi ile yüksek doğrulukta sonuçlar üretmeyi amaçlamaktadır. Bu modeller, büyük ölçekte veriyle eğitilerek farklı uygulama senaryolarına uyarlanabilir hale getirilir. Öte yandan, geleneksel matris ve tensör ayrışım yaklaşımları, daha yorumlanabilir yapılar sunmaları ve bileşen bazlı analizler gerçekleştirebilmeleri sayesinde, füzyon sürecinin belirli yönlerinin anlaşılması ve gerekirse füzyon parametrelerinin hassas biçimde ayarlanması (fine-tuning) açısından avantaj sağlamaktadır. Bu yöntemler, özellikle sınırlı veriyle çalışılan senaryolarda veya modelin iç işleyişinin açıklanabilirliğinin önemli olduğu durumlarda tercih edilmektedir. Tensör tabanlı füzyon yöntemleri arasında en yaygın olarak bilinenlerden bazıları CANDECOMP/PARAFAC (CP) ayrışımı ve Tucker ayrışımıdır. Bu yöntemler, tipik olarak tek bir çok boyutlu verinin (tensörün) yapısal ayrıştırılmasına olanak tanır ve içerdiği bileşenler üzerinden özellik temelli görüntü füzyonunun gerçekleştirilmesine imkân sağlar. Ancak, çalışmamızın odak noktası olan hiperspektral-multispektral (HS-MS) görüntü füzyonu senaryosunda, farklı veri kaynaklarından elde edilen birden fazla tensör üzerinde eşzamanlı analiz yapabilen yöntemlerin kullanılması gerekmektedir. Bu bağlamda, farklı tensörlerin ortak yapısal bileşenlerini birlikte ayrıştırmaya olanak tanıyan eşlenik (coupled) tensör ayrışım yöntemleri tercih edilmektedir. Bu yöntemler, farklı modaliteler arasındaki ilişkileri daha doğru şekilde modelleyerek, daha etkili ve tutarlı bir füzyon performansı sunar. Bu çalışmada, görüntü birleştirme yöntemi olarak Eşlenik Negatif Olmayan Matris Çarpanlarına Ayırma (Coupled Non-negative Matrix Factorization - CNMF) yöntemi üzerine odaklanılmıştır. Bu yaklaşım, hem hiperspektral hem de multispektral verilere karşılık gelen çarpan matrislerinin başlatılmasıyla başlar. Daha sonra, yeniden yapılandırma hatasını en aza indirirken negatif olmayanlık kısıtını koruyacak şekilde bu çarpanlar çarpma tabanlı güncelleme algoritmasıyla (multiplicative update rule) yinelemeli olarak güncellenir. Çarpan matrisleri yeterince optimize edildikten sonra, hiperspektral bileşenden elde edilen özellik matrisi W ile multispektral bileşenden elde edilen katsayı matrisi H çarpılarak birleştirilmiş (füzyon) görüntü yeniden yapılandırılır. Bu eşlenik yapı, her iki veri kaynağının tamamlayıcı güçlü yönlerini etkili bir şekilde kullanarak hem yüksek spektral hem de yüksek uzamsal çözünürlüğe sahip bir görüntü elde edilmesini sağlar. Bu tez çalışmasında, CNMF ile gerçekleştirilen HS-MS görüntü füzyonunun daha iyi sonuçlar verecek şekilde iyileştirilmesinin sağlanması amacıyla, Yüksek Boyutlu Model Gösterimi (High Dimensional Model Representation - HDMR) ile CNMF entegre edilerek, yeni ve güçlü bir füzyon algoritması oluşturulmuştur. Bu çalışmada önerilen füzyon yöntemi, yalın CNMF füzyon yöntemiyle benzer şekilde, hiperspektral ve multispektral görüntülerin matrisize edilmesi ile başlar. Matrisleştirilmiş hiperspektral ve multispektral görüntüler için özellik matrisleri ve katsayı matrisleri başlatılır. Ardından bir yakınsama ölçütü veya iterasyon numarası belirlenerek iterasyonlar başlatılır. İterasyonların ilk adımında özellik matrisleri çarpımsal güncelleme kuralına göre (multiplicative update rule) güncellenir. Ardından katsayı matrislerinin HDMR açılımı yapılarak ikinci derecedeki HDMR terimi atılarak katsayı matrisi yeniden inşa edilir. Daha sonra katsayı matrislerinde, belirlenmiş olan belirli bir eşiğin altındaki tüm değerler o eşik değerine çekilerek değerler yükseltilir. Bu yükseltim adımının Frobenius normda kararlılığı arttırdığı gözlenmiştir. Daha sonra yükseltilmiş katsayı matrisleri çarpımsal güncelleme kuralına göre güncellenir. İterasyonlar tamamlandıktan sonra yine HS matrisine ait özellik matrisi ile MS matrisine ait katsayı matrisi çarpılarak füzyonlanmış görüntü elde edilir. Bu yöntemle üretilen füzyonlanmış görüntülerin, yalın CNMF ile üretilen füzyonlanmış görüntüye kıyasla genellike tepe sinyal gürültü oranı (peak signal-to-noise ratio - PSNR), yapısal benzerlik indeksi ölçütü (structural similarity index measure - SSIM) ve karşılıklı bilgi (mutual information - MI) bakımından daha başarılı olduğu gözlenmiştir.

Özet (Çeviri)

Spectral imaging is an advanced technique used to quantify the reflectance of incident electromagnetic waves across a range of wavelengths. The measured reflectance values are intrinsically linked to the physical and chemical properties of the surface being observed. The collection of reflectance amounts across different wavelengths of an object or surface is referred as spectral signature. As each material exhibits a distinct spectral signature, spectral imaging enables the identification and classification of objects by analyzing these unique reflectance patterns. Spectral imaging is broadly categorized into two primary modalities: hyperspectral imaging and multispectral imaging. Hyperspectral imaging acquires data across hundreds of narrow, contiguous, and uniformly spaced spectral bands, offering fine-grained spectral detail. In contrast, multispectral imaging captures data over a limited number of broader, non-contiguous spectral bands, typically ranging from 3 to 15. Due to the narrow bandwidth of hyperspectral channels, the photon count per band is relatively low, resulting in a reduced signal-to-noise ratio (SNR). This lower SNR necessitates a compromise in spatial resolution. However, the dense spectral sampling yields superior spectral resolution compared to multispectral imaging. On the other hand, multispectral systems benefit from wider spectral bands, which allow for greater photon collection per band, thereby enhancing the SNR and enabling higher spatial resolution. This comes at the cost of lower spectral resolution due to the coarser and more sparsely distributed spectral information. Consequently, it is not feasible for a single imaging sensor to simultaneously achieve both high spectral and high spatial resolution. To address this limitation, various image fusion techniques have been developed. These approaches aim to integrate complementary information from different sources—such as hyperspectral and multispectral images—to generate data with enhanced spatial and spectral fidelity. Both deep learning-based frameworks and more traditional methodologies, such as those based on matrix factorization and tensor decomposition, are actively employed for this purpose. Among the widely used tensor decomposition techniques are the CANDECOMP/PARAFAC (CP) decomposition and Tucker decomposition, each offering unique advantages in multi-dimensional data analysis. However, in the context of hyperspectral-multispectral (HS-MS) image fusion, it is essential to utilize a coupled tensor decomposition framework, which allows for the joint processing of multiple data modalities by aligning shared components across datasets. In this study, we focus on Coupled Non-negative Matrix Factorization (CNMF) as the core fusion methodology. This approach begins by initializing the factor matrices corresponding to both the hyperspectral and multispectral data. Subsequently, these factors are iteratively updated using a multiplicative update algorithm to minimize reconstruction error while maintaining non-negativity constraints. Once the factor matrices have been sufficiently optimized, the fused image is reconstructed by multiplying the feature matrix $W$ derived from the hyperspectral component with the coefficient matrix H obtained from the multispectral component. This coupling strategy effectively leverages the complementary strengths of both data sources, yielding an image with enhanced spectral and spatial resolution. In this thesis, we propose an effective fusion technique that combines High Dimensional Model Representation (HDMR) with CNMF, which shows significant improvements over plain CNMF in terms of peak signal-to-noise ratio (PSNR), structural similarity index measure (SSIM), and mutual information (MI). Salinas, Kennedy Space Center, and Indian Pines datasets were used to conduct experiments. It is noted that the proposed method enhances PSNR by up to 12 dB, SSIM by up to 0.70, and MI by up to 0.30, in comparison to the fused images produced from CNMF.

Benzer Tezler

  1. Tez No

    565448

    Sparsity based pansharpening and a new pansharpening method using a guiding image

    Seyreklik tabanlı pankeskinleştirme ve kılavuz görüntü kullanan yeni bir pankeskinleştirme yöntemi

    RONGLEI JI

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    İletişim Bilimleriİstanbul Teknik Üniversitesi

    İletişim Sistemleri Ana Bilim Dalı

    DOÇ. DR. ENDER METE EKŞİOĞLU

  2. Tez No

    816861

    Hyperspectral image classification with active learning and Bayesian convolutional neural networks

    Aktif öğrenme ve Bayes evrişimsel sinir ağları ile hiperspektral görüntü sınıflandırma

    MAHMOOD SIDDEEQ QADIR QADIR

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. GÖKHAN BİLGİN

  3. Tez No

    944191

    Çekler ve senetler üzerinde farklı türde kalemler ve kimyasal maddeler ile gerçekleştirilen tahrifatların hiperspektral ve spektroskopik yöntemlerle incelenmesi

    Examination of forgeries on checks and promissory notes using different types of pens and chemical substances through hyperspectral and spectroscopic methods

    SELMAN ASLAN ÜSTÜNTAŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Adli TıpÜsküdar Üniversitesi

    Adli Bilimler Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ZEKAİ GENÇ

  4. Tez No

    543973

    Boyut indirgeme ve hiperspektral veri sınıflandırmasındaki etkileri

    Dimension reduction and its effects in hyperspectral data classification

    LINA YOUNUS

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    Elektrik ve Elektronik Mühendisliğiİstanbul Aydın Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ NECİP GÖKHAN KASAPOĞLU

  5. Tez No

    887272

    Augmented superpixel based anomaly detection in hyperspectral imagery

    Hiperspektral görüntülerde genişletilmiş süperpiksel tabanlı anomali tespiti

    EZGİ GÖKDEMİR

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Hesaplamalı Bilimler ve Mühendislik Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ SÜHA TUNA

Geri Dön