Geri Dön

Satellite images super resolution using generative adversarial networks

Uydu görüntülerinde çekişmeli üretici ağ kullanarak süper çözünürlük

PDF İndir

  1. Tez No: 717024
  2. Yazar: MARYAM SERDAR
  3. Danışmanlar: PROF. DR. AHMET HAMDİ KAYRAN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: İletişim Sistemleri Ana Bilim Dalı
  12. Bilim Dalı: Uydu Haberleşmesi ve Uzaktan Algılama Bilim Dalı
  13. Sayfa Sayısı: 81

Özet

Uzaktan algılamanın genel tanımı, gerçek bir temas olmaksızın bir nesneyi gözlemlemek ve bu nesneyle ilgili veriler toplamaktır. Daha dar bir bakış açısıyla, yer gözlemek ve onunla ilgili temas olmadan veri toplamktır. Günümüzde yer gözlem sistemleri çoklu bantlarda çeşitli sensörleri ile belirli bir disiplinde nihai bir ürün elde etmek için işlenmesi ve analiz edilmesi gereken çok büyük miktarda veri üretmektedir. Uzaktan algılama çeşitli modern yaşam alanlarında ve disiplinlerde önemli uygulamalara sahiptir. Örneğin, Mühendislikte haritalama ve şehir planlaması. Tarımdaki toprak türlerinin haritalanması ve tarım planlaması. İklimde yükselen deniz seviyesinin izlenmesi . Ormancılıkta Orman alanlarındaki yangınların izlenmesi, ve çok sayıda başka farklı uygulamalar. Farklı uzunluk ve frekanslara sahip elektromanyetik dalgalar, elektromanyetik spektrum olarak adılandırır.Yeryüzündeki ve atmosferdeki farklı maddeler bu enerjiye farklı tepkiler verir. Uzaktan algılama sensörleri bu tepkileri kaydetmek üzere tasarlanmıştır. Bu tezin birinci bölümde Uzaktan algılamanın tanımı önemi ve uydu görüntülerinin özelliklerine bahsetmektedir.Uydu görüntüleri uzaktan algılamada çok önemli bir rol oynar. Bazıları optik sensörler gibi pasif, bazıları ise LIDAR ve SAR gibi aktif olan çeşitli sensör türleri tarafından elde edilebilir. Bu çalışma, spektrumun görünür kısmındaki uydu görüntülerine odaklanmaktadır. Uydu görüntüleri ayrıca uzamsal çözünürlüğüne göre düşük, orta ve yüksek çözünürlüklü görüntüler olarak sınıflandırılabilir ve her biri belirli uygulamalarda kullanılabilir. Bu görüntülerin ön işlenmesi, nihai ürünü veya bu görüntüleri kullanan uygulamayı etkileyecek kritik bir aşamadır. Yüksek çözünürlük istenen bir özelliktir, ancak finansal ve teknik olarak elde edilmesi zor olabilir Bu nedenle görüntü işleme, süper çözünürlük teknikleri ile bu soruna uygun bir yazılım çözümü sunabilir. Yüksek çözünürlüklü görüntülere duyulan ihtiyaç farklı disiplinlerde kritiktir. Tıbbi görüntüleme, uzaktan algılama, HDTV, web tarayıcıları ve diğer birçok bilgisayarla görme uygulaması gibi birçok modern yaşam uygulaması için kritik öneme sahiptir. Bununla birlikte, yüksek çözünürlüklü görüntüler elde etmek teknik ve finansal olarak zor olabilir. Ayrıca, sensör gürültüsü, kayıplı sıkıştırma gibi birden çok faktör nedeniyle görüntüler bozulabilir. Süper çözünürlüğün bu sorun için verimli bir çözüm sağlayabilmektedir. Süper çözünürlük iki türüya ayrılabilir. Birincisi çok kare süper çözünürlük, bu türün algoritmalarında süper çözünürlüklü görüntü elde etmek için aynı sahne için birden fazla görüntünün kullanıldığı çok kare süper çözünürlük. İkincisi ise SISR, süper çözünürlüklü görüntüyü elde etmek için tek bir görüntünün kullanıldığı tek görüntü süper çözünürlüğü (SISR). Süper çözünürlük düşük çözünürlüklü gözlem kullanarak yüksek çözünürlüklü görüntüler elde etmeyi amaçlar. Süper çözünürlük tek bir özgün çözümün olmaması nedeniyle“ill posed”klasik bir görüntü işleme sorunu olarak kabul edilir. Bu nedenle yıllar içinde birçok algoritma ve yaklaşım önerilmiştir. Bu çalışmanın ikici bölümü literatüründaki farklı Süper çözünürlük metodlerin hakkında genel bir şekilde bahsetmektedir. Enterpolasyon, rekonstrüksiyon ve öğrenmeye dayalı algoritmalara ayrılan ana önemli süper çözünürlüklü algoritma türlerinin genel bir incelemesini sunmaktadır. Enterpolasyon dayalı algoritmanın en basit yöntem olmasına rağmen sonuçlar yüksek frekans detaylarından yoksundur. İkinci tip ise daha iyi sonuçlar elde etmek için iyi bir“prior”seçimi gerektiren restorasyon dayalı yöntemlerdir. İyi bir prior tasarlamak kompleks ve zor olabilir. Üçüncü kategori, düşük çözünürlüklü ve yüksek çözünürlüklü görüntüler arasındaki ilişkiyi öğrenmek için veri kümelerinden yararlanarak öğrenmeyi içeren örneğe dayalı veya öğrenmeye dayalı yöntemlerdir. Süper çözünürlük yöntemlerinin performansı genellikle birçok ölçümlerden yararlanarak değerlendirilir. Ortalama kare hataya dayanan ve piksel bazında bir ölçüm olduğundan yanıltıcı olabilen tepe sinyal gürültü oranı PSNR, veya daha doğru kabul edilen yapısal benzerlik indeksi SSIM bunların arasında sayılabilir. Algoritmalarında derin sinir ağlarını kullanan derin öğrenme, yapay zekanın bir alt alanı olan makine öğreniminin bir dalıdır. Özellikle evrişimli sinir ağları CNN'lerin ortaya çıkmasından sonra görüntü işleme ve bilgisayarla görme problemlerinde yaygın olarak kullanılmaktadır. Üçüncü bölüm Görüntü Süper çözünürlüğün derin öğrenme modellerini sünmaktadır. işleme problemlerindeki derin öğrenme modelleri yapıları genellikle CNN'ler gibi ortak yapı taşlarını paylaşır.Varsayılan CNN, bir evrişim katman ve doğrusal olmayanlığı sağlamak için bir aktivasyon, etkinleştirme, katmanı eklenir, dolayısıyla öğrenme garantilidir. Ardından bir havuzlama katmanı gelir.Geri yayılım, eğitimin her bir döneminin sonunda ağırlıkları ayarlamak için kullanılır.Bu tezin dördüncü bölümü, diğer yöntemlere kıyasla en gelişmiş performansı sunan süper çözünürlük problemleriyle başa çıkmak için önerilen süper çözünürlüklü algoritmaları detaylandırmaktadır.SRCNN, süper çözünürlükle ilgilenen ilk önerilen modeldi. Derin öğrenmeyi kullanan süper çözünürlüğün ilk modeli olarak kabul edilir.Bu modeli, ölçeği yükseltmeksizin düşük çözünürlüklü görüntüyü giriş olarak kullanan ve daha sonra dekonvolüsyon katmanı kullanarak yükseltmeyi gerçekleştirerek önceki modelin geriliğini aşmaya çalışan FSRCN modeldir. Daha iyi sonuçlar elde etmek için esas olarak derin VGG katmanlarından oluşan çok Derin Süper Çözünürlük modeli.Ardından, daha yavaş eğitim almadan ağın derinliğini artırabilmek için residual bloklar konseptinden yararlanan gelişmiş derin süper çözünürlüklü EDSR modeli vardır.SRResNet ve SRGAN, görüntü süper çözünürlüğünde daha iyi bir performans sağlamak için aynı makalede önerildi. SRResNet, yapısındaki residual blokları conv katmanlarına ek olarak uygular ve optimize etmek için ortalama kare hatasına dayalı optimizasyon kullanır. Birlikte öğrenen iki ağ modelinden oluşan çekişmeli üretici ağlar üretici modeli, üretici tarafından üretilen sahte veriler ile temel gerçeği ayırt etmeye çalışan bir ayrıştırıcı yardımıyla gerekli verileri üretmeyi öğrenmeyi amaçlar. Bu adverseryel eğitim yaklaşımı, çeşitli görevlerde çok başarılı performans sunar. Süper çözünürlük görevinde kullanıldığında SRGANs olarak adılandırır. Bu modelin çekişmeli yapısının yanı sıra performansını artıran bir diğer faktör vardır o da modelin optimizasyonunda kullanılan perceptual loss. Hem uzaktan algılama hem de derin öğrenme, son on yılda daha fazla ilgi görmekte ve hızlı bir gelişime tanık olmaktadır. Uzaktan algılamanın sağladığı veriler, çevre çalışmaları, hassas tarım, şehir planlaması ve daha pek çok disiplin için temel hale geliyor. RS verileri, belirli sensörlerin iletimi ile elde edilir, ön işleme tabi tutulur ve ardından nihai bir ürün üretilir. Derin öğrenme, düşük seviyeli özellikleri ve soyut özellikleri öğrenip temsil edebildiği için uzaktan algılama verileriyle başa çıkmak için verimli araçlar sunar. Tezin beşinci bölümü uzaktan algılamada derin öğrenme kullanımı genel bir şekilde bahsetmektedir. Bu tezde yapılan deney süper çözünürlüklü üretken çekişmeli üretici ağların uydu görüntüleri üzerindeki performansını ve alakasız veri seti ile eğitildiğinde genelleme kabiliyetini incelemek için yapılmıştır. Her sınıf 256x256 boyutunda 100 görüntü içeren 21 sınıftan oluşan UC-MERCED LAND USE veri setini kullanarak bir SRGAN modeli eğiterek bu görüntüler yüksek çözünürlüklü görüntüler olarak kullanılır ve faktör x4 ile küçültülmüş versiyonları düşük çözünürlüklü 64x64 görüntüler olarak kullanılır bu aşamada 8000 eğitim döngüsü yapıldı. Eğitimden sonra model, NWPU-RESISC45 veri setinden rastgele görüntülerle test edildi. Modelin genelleme kabiliyetini incelemek için önceki eğitim ile aynı şekilde 256x256 boyutlu 5 sınıftan oluşan Linnaeus 5 256X256 doğal görüntü veri seti kullanılarak 5000 döngü uygularak eğitilmiştir. Test içinse, NWPU-RESISC45 veri setinden rastgele görüntülerle yapıldı. Ek olarak, ortalama kare hatasına dayalı optimizasyonu kullanan SRResNet modeli aynı prosedürü uygularak önceki üretici SRGAN modellerinin performansıyla karşılaştırmak için eğitilip ve test edilmiştir. Performansı değerlendirmek ve daha önce bahsedilen yöntemler, iki SRGAN ,SRResNet ve bicubic interpolasyon, arasında bir karşılaştırma yapmak için PSNR tepe sinyal gürültü oranı ve SSIM yapısal benzerlik indeksi kullanılmıştır. Bu deney Google pro den GPU kullanarak yapılmaktadır.

Özet (Çeviri)

The general broad definition of remote sensing is to observe an object and collect data regarding this object without actual contact. From a narrower perspective, it is the science that studies the earth and its atmosphere by gathering data from above the earth. Nowadays earth observation systems with their various sensors in multiple bands produce a huge amount of data that need to be processed and analyzed to get a final product in a certain discipline. Applications like monitoring the water resources, forest fire monitoring, soil type classifications are examples of remote sensing use in different fields of our modern life. Satellite imagery plays a pivotal role in remote sensing .they can be acquired by various types of sensors some of which are passive like optical sensors and some whıch are active like LIDAR and SAR. This study focuses on the satellite images in the visible portion of the spectrum. This type of satellite imagery can vary in resolution whether this resolution is spatial, spectral, temporal, or radiometric. The satellite imagery also can be categorized according to its spatial resolution into low, medium, and high-resolution images and each of them can be deployed in certain applications. Preprocessing these images is a critical stage that would affect the final product or the application that uses these images. High resolution is a desirable characteristic, yet it can be difficult to achieve financially and technically. However, image processing can offer a convenient software solution to this problem by super-resolution techniques. Hence, the importance of superresolution which is one of the preprocessing tasks that obtains high-resolution images is considered fundamental in lots of remote sensing applications. Super-resolution aims to obtain high-resolution images using low-resolution observation. Super-resolution is considered a classical image processing problem that is ill-posed due to the lack of a single unique solution. Thus, lots of algorithms and approaches were proposed over the years. This study gives a general review of the main significant types of super-resolution algorithms which can be divided into interpolation-based, reconstruction-based, and learning-based algorithms. The simplest methods are interpolation-based ones, nevertheless, the results lack high-frequency details. The second type is reconstruction-based methods which require a good prior choice to get better results. designing a good prior can be complex These methods can be complicated. The third category is example-based or learn-based methods which include learning the relationship between the low resolution and high-resolution images by exploiting datasets to learn from. Algorithms like sparse coding super-resolution and deep learning methods are learning-based methods. Super-resolution methods performance is usually evaluated by many metrics such as, peak signal to noise ratio PSNR, which is based on mean squared error, a pixel-wise metric thus, can be misleading, structural similarity index SSIM which is considered more accurate as it considers the structure of the image instead of the individual pixel value. Deep learning, which deploys deep neural networks in its algorithms, is a branch of machine learning which is, in turn, a subfield of artificial intelligence. It is widely used in image processing and computer vision problems, especially after the emergence of convolutional neural networks CNNs. Deep learning models structures in image processing problems usually share common building blocks like CNNs. The default CNN consists of a convolutional layer followed by an activation layer to ensure nonlinearity, hence learning, which is followed by a pooling layer. The backpropagation is used to adjust weights at the end of every epoch of training. The fourth chapter of this thesis elaborates the super-resolution algorithms which were proposed to deal with super-resolution problems that present the state-of-the-art performance compared to the other methods. SRCNN was the first suggested model to deal with super-resolution. It is considered as the benchmark of super-resolution using deep learning. This model was followed by the FSRCNN which tried to overcome the backward of the previous model by using the low-resolution image as an input without upscaling and performed the upscaling later by using deconvolution layer. Very Deep Super Resolution model which mainly consists of deep VGG layers to get better results. Then there was the enhanced deep super-resolution model EDSR that exploited the concept of the residual blocks to be able to increase the depth of the network without getting slower training. SRResNet and SRGAN were proposed in the same paper to give a better performance in image super-resolution. SRResNet deployed the residual blocks in its structure in addition to conv layers and uses the mean squared error dased loss or VGG content loss to optimize. The generative model of generative adversarial neural networks consists of two network models that learn together, the generator aims to learn to generate the required data with the help of a discriminator that tries to differentiate between fake data generated by the generator and ground truth. This approach of training in an adversarial manner presents a state of the art performance in several tasks, It was also used in the super-resolution task by what is called as SRGANs super-resolution networks. In addition to the adversarial structure of this model, another factor that improved its performance is the perceptual loss that was used in optimizing the model. Mentioning all of these deep learning super-resolution algorithms, the next chapter gives a general overview of the use of deep learning in remote sensing. This use is expanding with the increased amount of remote sensing data and its quality and with the development of deep learning algorithms and computational abilitıes. From the preprocessing of the remote sensing data, like image fusion, segmentation, and denoising, to other many applications such as anomaly detection, land use classification, and other classification tasks, deep learning is being deployed in remote sensing. The experiment that is done in this thesis is to examine the performance of super-resolution generative adversarial neural networks on the satellite images and ıts abıltıy of generalization when it is trained with the irrelevant dataset. By training an SRGAN model using the UC-MERCED Land Use dataset which consists of 21 classes each class contains 100 images of size 256x256 these images are used as high-resolution images and downsized versions of them with factor x4 are used as low-resolution images. After training, the model was tested with random images from the NWPU-RESISC45 dataset. In order to examine the ability of generalization of the model, the same architecture was trained using a natural images dataset which is Linnaeus 5 256X256 which consists of 5 classes of 256x256 sized images in the same way as the previous training. testing was done with random images from the NWPU-RESISC45 dataset. In addition, the SRResNet model that uses the mean square error-based optimization was trained to compare it with the performance of the previous generative SRGAN models. Peak signal to noise ratio and structural similarity index was used to evaluate the performance and make a comparison between the previously mentioned methods. The experiment was done using Google Colab Pro environment utilizing its provided GPU.

Benzer Tezler

  1. Tez No

    637233

    Self-supervised pansharpening: Guided colorization of panchromatic images using generative adversarial networks

    Öz-denetimli pankeskinleştirme: Çekişmeli üretken ağlar ile pankromatik görüntülerin güdümlü renklendirilmesi

    FURKAN ÖZÇELİK

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. GÖZDE ÜNAL

  2. Tez No

    723278

    Super-resolution image generation from earth observation satellites using generative adversarial networks

    Çekişmeli üretici ağlar kullanılarak yer gözlem uydularından süper çözünürlüklü görüntü oluşturulması

    EZGİ BURÇİN GAZEL BULUT

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Jeodezi ve FotogrametriHacettepe Üniversitesi

    Geomatik Mühendisliği Ana Bilim Dalı

    PROF. DR. ALİ ÖZGÜN OK

  3. Tez No

    783439

    Pansharpening using generative adversarial networks with dual discriminators

    Çift ayrıştırıcılı çekişmeli üretken ağlar kullanarak pankeskinleştirme

    NAHİDE NESLİ CESUR

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. IŞIN ERER

  4. Tez No

    887694

    Super-resolution of landsat-8 images using sentinel-2 images and generative adversarial networks

    Sentinel-2 görüntüleri ve çekişmeli üretici ağlar kullanılarak landsat-8 görüntülerinin süper çözünürlüğü

    ESRA SUNKER

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    Geomatik Mühendisliği Ana Bilim Dalı

    PROF. DR. ELİF SERTEL

    PROF. DR. BÜLENT BAYRAM

  5. Tez No

    753612

    Single-frame and multi-frame super-resolution on remote sensing images via deep learning approaches

    Derin öğrenme yaklaşımlarıyla uzaktan algılama görüntülerinde tek çerçeve ve çok çerçeve süper çözünürlük

    PEIJUAN WANG

    Doktora

    İngilizce

    İngilizce

    2022

    İletişim Bilimleriİstanbul Teknik Üniversitesi

    İletişim Sistemleri Ana Bilim Dalı

    PROF. DR. ELİF SERTEL

Geri Dön