Geri Dön

Pansharpening using generative adversarial networks with dual discriminators

Çift ayrıştırıcılı çekişmeli üretken ağlar kullanarak pankeskinleştirme

PDF İndir

  1. Tez No: 783439
  2. Yazar: NAHİDE NESLİ CESUR
  3. Danışmanlar: PROF. DR. IŞIN ERER
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Telekomünikasyon Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 79

Özet

Uzaktan algılama araştırma konusu geniş bir kapsama sahiptir ve görüntü keskinleştirme konusunu da içinde barındırmaktadır. Pankeskinleştirme ile hedeflenen görev, uydudan alınan görüntüleri kullanarak çok kanallı yüksek çözünürlüklü ve keskin bir görüntü elde etmektir. Uydu sistemlerinden uzamsal çözünürlüğü yüksek görüntüler ile spektral çözünürlüğü yüksek görüntüler elde edilir. Pankromatik ve multispektral görüntüler sensörler tarafından oluşturulan görüntülerdir. Kullanılan uydulara Pleiades, GeoEye, Worldview and GaoFen örnek olarak gösterilebilir. Bu uydularda bulunan sensörler iki grupta birleştirilir ve ürettikleri görüntüye göre sınıflandırılır. Pankromatik sensörler uzamsal bilgileri toplar ve tek kanallı yüksek uzamsal çözünürlüğe ve düşük spektral çözünürlüğe sahip pankromatik görüntü üretirler. Uydulardaki multispektral sensörler ise spektral çözünürlüğü yüksek çok kanallı görüntüyü düşük uzamsal çözünürlük ile üretirler. Üretilen görüntüler, içerdikleri bilgilere göre pankromatik ve multispektral görüntüler olarak isimlendirilir. Kısacası, aynı bölge için toplanan bilgilerde pankromatik görüntü içerdiği uzamsal bilgilerden dolayı multispektral görüntüden daha detaylıdır. Uydulardan elde edilen tek kanallı yüksek uzamsal çözünürlüklü, düşük spektral çözünürlüklü pankromatik görüntü ile çok kanallı düşük uzamsal çözünürlüklü, yüksek spektral çözünürlüklü multispektral görüntülerin tasarlanmış bir modelin algoritmasını kullanarak yüksek uzamsal ve yüksek spektral çözünürlüklü görüntü üretmesine pankeskinleştirme denilir. Pankeskinleştirme konusundaki geliştirmeler uzun yıllardır devam etmektedir ve derin öğrenme yaklaşımlarından önce kullanılan metodlar geleneksel pankeskinleştirme yöntemleri olarak isimlendirilir. Geleneksel pankeskinleştirme yöntemleri iki ana grup içerisinde değerlendirilir. Bu methodlar Bileşen Değiştirmeli metodlar ve Çoklu Çözünürlük Analizi methodları olarak iki grupta incelenir. İlk grup içerisindeki yaklaşımlarda, multispektral görüntünün uzamsal ve spektral bilgileri birbirinden ayrıştırılır. Daha sonra pankromatik görüntüden uzamsal bilgiler çekilir. Son olarak multispektral görüntünün uzamsal bilgileri yerine pankromatik görüntüden alınan uzamsal bilgiler yerleştirilir. Bileşen Değiştirmeli metotlar kendi içerisinde farklılaşmışlardır ancak bazı yaklaşımları örnek olarak belirtmek gerekirse Temel Bileşen Analizi (PCA), bant bağımlı uzamsal detaylandırma (BDSD),Brovey Dönüşümü ve Gram-Schmidt metodları örnek verilebilir. İkinci grup ise çoklu çözünürlük analizi metodları olarak isimlendirilmiştir. Bu gruptaki yaklaşım pankromatik görüntüye uygulanan çeşitli filtreler ile uzamsal bilgilerin alınıp, multispektral görüntüye entegre edilmesidir. Bu yaklaşımlara örnek olarak modülasyon transfer fonksiyonu (MTF), MTF tabanlı Genelleştirilmiş Laplasyen piramitleri (MTF-GLP), yüksek geçiren modülasyonlu MTF-GLP (MTF-GLP-HPM), dalgacık dönüşümü ve SPCA metodları örnek olarak verilebilir. Geleneksel yaklaşımlardan sonra yaygın olarak kullanılan evrişimsel sinir ağlarına dayalı yöntemler birçok alanda uygulanmaya ve geliştirilmeye başlanmıştır. PNN, PanNet, PSGAN ve PANGAN modelleri evrişimsel sinir ağlarına dayalı yöntemlere örnek olarak verilebilir. Son yıllarda yaşanan erişilebilir veri miktarındaki artış ve hesaplama yapılacak donanımın iyileştirilmesi ve hızlandırılmasının da etkisiyle bu alandaki gelişmeler hızlanmıştır. Sinir ağlarına dayalı yaklaşımlar hem birikimli bilginin getirmiş olduğu gelişim, hem de kullanılan yazılım ve donanımlardaki pozitif ilerlemeler sayesinde ivme kazanmış, etkisini pankeskinleştirme alanında da hissettirmiştir. Derin öğrenmeye dayalı yaklaşımlar görüntü işleme, yüz ve ses tanıma, otomasyon ve medikal alanlarında kullanılır. Derin öğrenme tabanlı pankeskinleştirme yaklaşımlarının temeli çözünürlük arttırma sorununa dayanmaktadır ve burada uygulanan çözümler pankeskinleştirme alanına uygulanmış ve geliştirilmiştir. Derin öğrenme yaklaşımında önerilen modeller daha katmanlı ve derin yapılara dönüşmüştür. Daha fazla ve çeşitli veriler ile eğitilen modellerin başarıları da olumlu yönde ilerlemiştir. Derin öğrenme modelleri kendi içerisinde farklılaşmıştır ve evrişimsel sinir ağlarını taban olarak kabul eden birçok çalışma yayınlanmıştır. Son yıllarda pankeskinleştirme için genellikle tercih edilen yapı evrişimsel sinir ağları yapısına sahip Çekişmeli Üretken Ağlardır. Çekişmeli Üretken Ağlar sadece verilen görüntü ya da girdi ile modelin ağırlıklarını güncellemek yerine karşılıklı birbirinin eğitimine katkı sağlayan modeller olarak hareket ederler. Bu ağlardaki üretici tarafından üretilen görüntüler eğitim aşaması ilerledikçe daha da gerçekçi görüntüler üretmeye başlar. Üretici tarafından üretilen sanal görüntüler ile gerçek görüntüler arasındaki fark giderek azalır ve ayırt edilemez bir noktaya gelmeleri hedeflenir. Çekişmeli Üretken Ağlar iki ana parçadan oluşurlar ve bunlar üretici ağ ve ayrıştırıcı ağ olarak isimlendirilir. Üretici ağ, girdileri kullanarak gerçeğe çok yakın sanal görüntüler üretmeyi hedefler. Ayrıştıcı ağ ise üretilen sentetik görüntü ile gerçek görüntüyü kıyaslar. Girdi olarak verilen görüntüleri ise gerçek ya da sahte olarak ayrıştırmaya çalışır. Ayrıştırıcı ağın çıktısı modele geri besleme olarak verilir ve bu adım tekrar edilir. Ayrıştırıcı tarafından verilen kararlar modelin ürettiği çıktıların gerçekliğe yakınlığını ve başarısını etkilemektedir. Bu ağları kullanan modellerde hedeflenen ise ayrıştırıcı ağın sahte görüntüyü gerçek görüntüden ayırt edemediği seviyeye ulaşmaktır. Uydudan alınan görüntüler tam çözünürlük ile birleştirildiğinde karşılaşılan en ciddi sorun kıyaslama yapmak için gereken referans görüntünün olmamasıdır. Bu nedenle eğitim aşamasında modele verilen görüntüler düşürülmüş çözünürlüktedir. Modele girdi olarak çözünürlüğü düşürülmüş pankromatik görüntü ve çözünürlüğü düşürülmüş multispektral görüntü verilir ve modelin ürettiği çıktıda çok kanallı ve multispektral görüntü oluşması beklenir. Kısacası, varolan görüntüleri referans olarak kullanabilmek amacı ile modeller bir alt çözünürlükte çalışılır. Bu yaklaşımların uygulanmaları sırasında karşılaşılan çeşitli problemler vardır ve bunların giderilmesi için çeşitli yaklaşımlar önerilmiştir. Bu problemlere ve metodların çıktılarına etkisine, düşürülmüş çözünürlük ile eğitilen modellerdeki gözlemlenen keskinlik kaybı örnek olarak verilir. Pankeskinleştirmeyi iki ayrıştırıcı kullanarak tasarlanmış DDICP-GAN modelinin eğitim aşamasında çözünürlüğü düşürülmüş multispektral görüntü ile multispektral görüntünün yoğunluk çarpanını modele girdi olarak vererek hedeflenen görüntüden üretilmiş iki görüntü ile modelin eğitimi yapılmaktadır. Model, pankromatik görüntü yerine multispektral görüntünün yoğunluk çarpanının kullanılması nedeni ile literatürdeki modellerden ayrışmaktadır. Model çıktısı olarak ise yüksek çözünürlüklü multispektral görüntünü beklenmektedir. Bu yaklaşım sayesinde modele verilen görüntüler ile elde edilen keskinleştirilmiş görüntü arasındaki uzamsal detay farklılığı problemi çözülmüştür. Eğitim sürecinde World Wide II, GF-2 ve Pleiades uydu görüntülerini içeren üç veri seti kullanılmıştır. World Wide II, 4 adet tam çözünürlüklü görüntü setinden oluşur ve pankromatik görüntülerin uzamsal çözünürlüğü 0,5m iken, multispektral görüntülerin uzamsal çözünürlüğü 1,8m'dir. GF-2 uydusundan alınan 3 tam çözünürlüklü görüntülerden pankromatik görüntülerin uzamsal çözünürlüğü 0.8m, multispektral görüntülerin uzamsal çözünürlüğü 3.2m'dir. Pleiades uydusundan alınan tam çözünürlüklü görüntüler ise Uydu Haberleşme ve Uzaktan Algılama Merkezi'nin (UHUZAM) tarafından sağlanmıştır. Pleiades uydusundan elde edilen pankromatik görüntülerin uzamsal çözünürlüğü 0.5m, multispektral görüntülerin uzamsal çözünürlüğü 2m'dir. Bu girdilerden 128x128 ve 32x32 boyutlarında görüntüler elde edilerek belli bir oran ile test ve eğitim için bölünmüştür. Eğitilmiş modeli test ederken iki farklı seviyede de testler yapılmıştır. Ek olarak, DDICP-GAN modelinin mimarisinin esinlenildiği PANGAN ağ mimarisinin çıktıları da test edilmiştir. Yapılan çalışmaların başarısını incelemek için geleneksel yaklaşımlar ile derin öğrenme tabanlı yaklaşımlardan seçilen metodlar arasında karşılaştırmalar yapılmıştır. Modelin, geleneksel yöntemlere göre başarısını ölçmek için geleneksel yaklaşımlardan BDSD, ATWT, GSA, GLP-REG-FS seçilmiştir. Derin ağlar kullanan yaklaşımlardan PANGAN, PanNet, PSGan ve PanColorGAN seçilmiştir ve bu yaklaşımların eğitilmiş modelleri test için kullanılmıştır. Belirlenen yaklaşımlar 3 farklı uydudan alınmış görüntüler ile test edilmiştir. Görsel çıktılar ile metrikleri kullanarak hesaplanan sayısal çıktılar düşürülmüş çözünürlük seviyesinde ve tam çözünürlük seviyesinde test edilmiştir. Sayısal değerlendirmeler için düşürülmüş çözünürlük seviyesindeki çıktıları referanslı metrikler ile hesaplanmıştır. Bu metrikler SAM, ERGAS, sCC, Q VE QAVE olarak belirlenmiştir. Tam çözünürlük seviyesinde elde edilen çıktıların sayısal hesaplaması için ise D_lambda, D_s ve QNR belirlenmiştir. Belirlenen modellerin görsel sonuçları ve belirlenen metrikler ile hesaplanan sayısal sonuçları paylaşılmıştır. Bazı modeller için hesaplanan sayısal veriler ile görsel çıktıların ilişkileri değerlendirilmiştir. Kullanılan test görüntülerinin hem düşürülmüş çözünürlükte hem de tam çözünürlükte yapılan testlerinde önerilen yaklaşımın görsel olarak en iyi sonuçları elde etmeyi başardığı gözlenmiştir. Kullanılan metrikler açısından kıyaslanan yöntemlere göre başarılı sonuçlar elde edilmiştir. Önerilen yaklaşım, kullanılan karşılaştırma yaklaşımlarına göre üstünlük sağlamıştır.

Özet (Çeviri)

Satellites equipped with sensors are capable of capturing various types of images, including multispectral and panchromatic images. Panchromatic images possess a high spatial resolution, but a low spectral resolution, while multispectral images possess a low spatial resolution and high spectral resolution. The process of producing an image that possesses both high spatial and high spectral resolution is known as image fusion or pansharpening. The field of image fusion has been the subject of extensive study for many years, and can be broadly divided into two categories: traditional methods and deep learning-based approaches. Examples of traditional methods include GS Adaptive(GSA), Generalized Laplacian Pyramid (GLP), and Band-Dependent Spatial-Detail (BDSD). As the field progressed, Convolutional Neural Network (CNN) based models began to be designed for the pansharpening task, resulting in a significant breakthrough. Subsequently, numerous studies have been proposed in this area. Pansharpening with satellite images reached great success and promising results that leads to become a popular research area in recent years. CNN based methods have been achieving great progress and success there are still a few obstacles to handle. A novel pansharpening model is proposed that utilizes a super resolution task with two discriminators and an initial process of dataset preparation utilizing the intensity component. The utilization of two discriminators and the intensity component makes the proposed model a unique approach for pansharpening. Typically, CNN-based models use reduced resolution panchromatic and multispectral images due to the lack of a reference image, resulting in a mismatch problem when mapping to the reduced resolution images. However, the proposed model utilizes a reduced resolution multispectral image and the intensity component of a high resolution multispectral image as a grayscale image, instead of a reduced resolution panchromatic image, in the training process. During the training process, three distinct datasets were utilized to update the weights of the model. The output of the model generates a high-resolution multispectral image by utilizing multispectral and panchromatic images. The model comprises of two separate discriminators, each of which focuses on the spatial or spectral details of the given input. Additionally, the generator takes multispectral and panchromatic images, concatenates them and produces a synthetic image that closely resembles the original multispectral image. After learning process is completed, a variety of validation scenarios were executed. Visual representations of both full resolution and reduced resolution validations were shared. Additionally, selected methods were employed to compare the obtained results and demonstrate the success of the model. Metrics such as ERGAS, SAM, QNR and Q were utilized to calculate and evaluate the results both qualitatively and quantitatively. Five different metrics were used for reference performance results, and three metrics were used for non-reference performance results. Furthermore, various satellite images were employed to observe the results on different characteristic datasets, including Pleiades and WV II, for both training and testing. The proposed model exhibits superior results compared to other CNN-based models, as evidenced by both quantitative and qualitative measures. The proposed model differs from previous models in three main ways. Firstly, the utilization of an intensity component to obtain input images that are precisely matched for the models. Secondly, the use of two separate discriminators, each of which is designed to distinguish spatial or spectral information. Lastly, the incorporation of an adversarial loss for both discriminators to preserve details. The proposed approach demonstrates exceptional performance results, and its results were compared to previous CNN-based methods and traditional methods in the experiments.

Benzer Tezler

  1. Tez No

    637233

    Self-supervised pansharpening: Guided colorization of panchromatic images using generative adversarial networks

    Öz-denetimli pankeskinleştirme: Çekişmeli üretken ağlar ile pankromatik görüntülerin güdümlü renklendirilmesi

    FURKAN ÖZÇELİK

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. GÖZDE ÜNAL

  2. Tez No

    565448

    Sparsity based pansharpening and a new pansharpening method using a guiding image

    Seyreklik tabanlı pankeskinleştirme ve kılavuz görüntü kullanan yeni bir pankeskinleştirme yöntemi

    RONGLEI JI

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    İletişim Bilimleriİstanbul Teknik Üniversitesi

    İletişim Sistemleri Ana Bilim Dalı

    DOÇ. DR. ENDER METE EKŞİOĞLU

  3. Tez No

    832905

    Derin öğrenme tabanlı PAN-keskinleştirme yöntemlerinin arazi örtüsü haritalama performanslarının irdelenmesi

    Analysis of land cover mapping performance of deep learning based PAN-sharpening methods

    DERYANUR AŞIKOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Jeodezi ve FotogrametriArtvin Çoruh Üniversitesi

    Harita Mühendisliği Ana Bilim Dalı

    DOÇ. DR. VOLKAN YILMAZ

  4. Tez No

    611460

    Hiperspektral veriler için kaynaştırma ile uzamsal çözünürlük artırımı

    Hyperspectral spatial resolution enhancement by using unmixing

    SEVCAN KAHRAMAN

    Doktora

    Türkçe

    Türkçe

    2019

    Elektrik ve Elektronik MühendisliğiKocaeli Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. ALİ TANGEL

  5. Tez No

    704934

    Derin öğrenme ile uydu görüntülerinde hedef tespiti

    Target detection in satellite images using deep learning

    VAZIRKHAN TARVERDIYEV

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Bilim ve Teknolojiİstanbul Teknik Üniversitesi

    İletişim Sistemleri Ana Bilim Dalı

    PROF. DR. IŞIN ERER

Geri Dön