Super-resolution of landsat-8 images using sentinel-2 images and generative adversarial networks
Sentinel-2 görüntüleri ve çekişmeli üretici ağlar kullanılarak landsat-8 görüntülerinin süper çözünürlüğü
- Tez No: 887694
- Danışmanlar: PROF. DR. ELİF SERTEL, PROF. DR. BÜLENT BAYRAM
- Tez Türü: Yüksek Lisans
- Konular: Jeodezi ve Fotogrametri, Geodesy and Photogrammetry
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Geomatik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Geomatik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 73
Özet
Uydu görüntüleri birçok farklı araştırma disiplini için önemli veri kaynaklarıdır ancak bu verilerin çözünürlükleri her zaman beklenen özellikleri sağlamayabilir. Bu problemin üstesinden gelmek için, derin öğrenme tekniklerini kullanan süper çözünürlük yaklaşımı, yüksek çözünürlüklü (HR) uydu görüntülerini kullanarak düşük çözünürlüklü (LR) uydu görüntülerini iyileştirmeye yönelik popüler bir yöntemdir. Bu çalışma, ölçek faktörünün çözünürlüğü iyileştirmek için kullanılan algoritmalar üzerindeki etkilerini ve farklı derin öğrenme algoritmalarının aynı veri seti üzerindeki etkisini araştırmayı amaçlamaktadır. Bu kapsamda 3 farklı ölçek ve 5 farklı derin öğrenme algoritması seçilmiştir. Süper çözünürlük (SR), düşük çözünürlüklü görüntülerin yüksek çözünürlüklü versiyonlarını üretmek ve geleneksel tekniklerle elde edilmesi zor veya imkansız olan ayrıntıları kurtarmak için kullanılır. Üretken Rekabetçi Ağlar (GAN), bu zorluğun çözümü için etkili bir araçtır. GAN'lar, doğru parametreler ve uygun veri kümeleri ile eğitildiğinde gerçekçi görüntüler üretebilen bir jeneratör ve ayırıcıdan oluşur. GAN'lar kadar CNN'ler ve Transformer tabanlı derin öğrenme algoritmaları da süper çözünürlük yönetiminde kullanılmaktadır. Farklı uygulamaların gerekliliklerini sağlamak için farklı algoritmalar kullanılmaktadır. Bunu gözlemleyebilmek adına CNN tabanlı, GAN tabanlı ve Transformer tabanlı olmak üzere her sınıftan minimum 1 adet algoritma seçilmiştir. Aynı bölgeyi çalışma alanı olarak seçerek bu bölge kapsamında hem Landsat hem de Sentinel görüntü çiftlerini içeren OLI2MSI veri seti ana veri seti olarak belirlenmiştir. Bu kapsamda OLI2MSI veri seti üzerinde x2, x3 ve x4 olacak şekilde farklı ölçek faktörü olan alt veri setleri üretilmiştir. Oluşturulan veri setleri kapsamında gerçekleştirilen eğitimler sonucu elde edilen ağırlıkları test etmek için özel bir veri seti oluşturulmuştur. Bu veri setinde İzmir şehirinin kıyı bölgesi çalışma alanı olarak belirlenmiş, bu bölgeyi gören Sentinel ve Landsat uydularından veriler toplanmıştır. OLI2MSI veri setinde gerçekleştirildiği gibi oluşturulan yeni veri setinde de x2, x3 ve x4 olacak şekilde 3 farklı ölçek tipini barındıran versiyonları oluşturulmuştur. Bu çalışmada GAN tabanlı, CNN tabanlı ve Transformer tabanlı olmak üzere 3 farklı süper çözünürlük yaklaşımı mimarileri kullanılmıştır. Çalışma daha kolay incelenebilmesi açısından iki kısma ayrılmıştır. Kısım 1'de GAN ağı, veri setinin farklı ölçekleri (x1, x2 ve x4 oranları) kullanılarak eğitilmiştir. Bu kısımda GAN olarak Real-ESRGAN belirlenmiştir. Kısım 2'de ise farklı ağların aynı veri seti üzerindeki etkisini incelemek için beş farklı ağ seçilmiştir. Bu ağlar ise Real-ESRGAN, Pix2pix, SRGAN, SRCNN, HAT ve DAT olarak belirlenmiştir. Kısım 2 kapsamında gerçekleştirilen eğitimler ölçek faktörü x2 için tamamlanmıştır. Çalışmada gerçekleştirilen 5 farklı derin öğrenme algoritması için eğitim ve testlerde beş doğruluk ölçütü kullanılmıştır. Bu metrikler Tepe-Sinyal-Gürültü-Oranı (PSNR), Öğrenilmiş Algısal Görüntü Yaması Benzerliği (LPIPS), Yapısal Benzerlik İndeksi Ölçümü (SSIM), Özellik Benzerliği (FSIM) ve Doğal Görüntü Kalitesi Değerlendiricisi (NIQE) şeklinde sıralanabilir. Bu metrikler hakkında kısaca bir açıklama yapmak gerekirse PSNR, görüntüler arasındaki piksel piksel mesafeyi hesaplayarak görüntünün kalitesini ölçen bir metrik iken SSIM, süper çözünürlüklü (SR) görüntünün yapısı ile temel gerçek olarak kabul edilen yüksek çözünürlüklü (HR) görüntünün yapısı arasındaki benzerliği değerlendirmektedir. FSIM, insan görsel sistemlerini simüle ederek iki görüntü arasındaki benzerlik derecesini hesaplar ve potansiyel olarak PSNR gibi diğer ölçümlerden daha iyi sonuçlar sağlamaktadır. NIQE, referans temel gerçeklik görüntüsünün kullanımından muaftır ve bu modeller arasındaki farklılığı hesaplamaktadır. Eğitim süreci, optimizer, öğrenme hızı, batch boyutu, loss fonksiyonu ve görüntü boyutu gibi hiperparametrelerle Nvidia Geforce 3070 TI grafik kartlarıyla Pytorch kullanılarak gerçekleştirilmiştir. OLI2MSI veri seti ve yeni hazırlanan veri seti, eğitim ve test olarak iki kısıma ayrılmıştır Landsat ile Sentinel görüntüleri arasındaki ölçeklendirme faktörü, x1, x2 ve x4 olacak şekilde veri setlerinin versiyonları oluşturulmuştur. Real-ESRGAN algoritması OLI2MSI veri setinde x1, x2 ve x4 ölçek faktörleri üzerinde test edilmiştir. Sonuçlar incelendiğinde en iyi performans x2 ölçek faktöründe elde edilmiştir. Kısım 2 sonuçları incelendiğinde, Real-ESRGAN'ın LR görüntülerini HR'ye dönüştürmede diğer iki GAN olan Pix2pix ve SRGAN'dan daha iyi performans gösterdiğini görülmüştür. Tüm modeller kıyaslandığında ise sayısal olarak en iyi sonucu Transformer tabanlı modelleri verirken en kötü sonucu ise CNN tabanlı modeller vermiştir. Yapılan eğitim tipleri karşılaştırıldığında ise transfer learning, training from scratch'e göre daha iyi sonuç vermiştir. Görsel olarak sonuçlar incelendiğinde ise Real-ESRGAN ve HAT diğer modellere göre daha iyi sonuçlar üretmiştir. Özellikle yerleşim yerlerinde Real-ESRGAN'ın performansı diğer modellere göre daha iyidir.
Özet (Çeviri)
Satellite images are crucial data sources for various research disciplines, but their resolution may not always provide expected features. To overcome this, the super-resolution approach using deep learning techniques is a popular method to improve low-resolution (LR) satellite images using high-resolution (HR) satellite images. The study aims to investigate the effects of scaling factor on the algorithms for Super Resolution and the impact of different deep learning algorithms on the same dataset. The results will be presented in Chapter 5. Super-resolution (SR) is used to produce high-resolution versions of low-resolution images, recovering details that are hard or impossible to obtain using traditional techniques. Generative Adversarial Networks (GAN) are an effective tool for resolving this challenge. GANs consist of a generator and a discriminator, which can produce realistic images when trained with the right parameters and suitable datasets. The study used the OLI2MSI dataset, which contains both Landsat and Sentinel image pairs for the same area. A custom dataset was created to test the weights obtained from the training of the OLI2MSI dataset. The architecture of the GAN-based super-resolution approach was used in this study. In Case 1, the GAN network was determined to be Real-ESRGAN, which was trained using ratios of x1, x2, and x4. In Case 2, Real-ESRGAN, Pix2pix, SRGAN and HAT were used. Also for the CNN-based architectures such as SRCNN and VDSR were included in the study. The study used five accuracy metrics in training and tests for the Real-ESRGAN model. These metrics include Peak-Signal-Noise-Ratio (PSNR), Learned Perceptual Image Patch Similarity (LPIPS), Structural Similarity Index Mesure (SSIM), Feature Similarity (FSIM) and Natural Image Quality Evaluator (NIQE). PSNR measures the quality of an image by computing the pixel-by-pixel distance between images. SSIM evaluates the similarity between the structure of the super-resolution (SR) image and the high-resolution (HR) image considered as the ground truth. FSIM calculates the degree of similarity between two images by simulating human visual systems, potentially providing better results than other metrics such as PSNR. NIQE is free from the use of a reference ground truth image and computes the dissimilarity between these models. The training process was conducted using Pytorch with Nvidia Geforce 3070 TI graphics cards, with hyperparameters such as optimizer, learning rate, batch size, loss function, and image size. The OLI2MSI dataset was divided into sections for training and testing, and the scaling factor between Landsat and Sentinel images was adjusted to accommodate different scaling factors. The Real-ESRGAN model was tested on the OLI2MSI dataset on scaling factors x1, x2 and x4. When the results were examined, the best performance was obtained at the x2 scale factor. When Case2 results were examined, it was seen that Real-ESRGAN performed better than the other two GANs, Pix2pix and SRGAN, in converting LR images to HR. When all models are compared, Transformer models give the best numerical results, while CNN-based models give the worst results. When the training types were compared, transfer learning gave better results than training from scratch. When the results are examined visually, Real-ESRGAN and HAT produced better results than other models. Especially in residential areas, Real-ESRGAN's performance is better than other models.
Benzer Tezler
- Uydu görüntülerinde derin öğrenme ile süper çözünürlük
Super resolution with deep learning in satellite images
GAMZE DANIŞMAN
Yüksek Lisans
Türkçe
2023
Elektrik ve Elektronik MühendisliğiGazi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HASAN ŞAKİR BİLGE
- Assessing the impact of super-resolution on enhancing the spatial quality of historical aerial photographs
Tarihi hava fotoğraflarının mekansal kalitesini artırmada süper-çözünürlüğün etkisinin irdelenmesi
ABDULLAH HARUN İNCEKARA
Doktora
İngilizce
2024
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. DURSUN ZAFER ŞEKER
- An examination of super resolution methods
Süper çözünürlük metodları üzerine bir inceleme
YILCA BARIŞ SERT
Yüksek Lisans
İngilizce
2006
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ÇAĞATAY CANDAN
DOÇ. DR. GÖZDE BOZDAĞI AKAR
- Super resolution of light fields using convolutional neural network
Evrişimsel sinir ağları ile ışık alanlarının süper çözünürlüğü
MUHAMMAD SHAHZEB KHAN GUL
Yüksek Lisans
İngilizce
2018
Elektrik ve Elektronik Mühendisliğiİstanbul Medipol ÜniversitesiElektrik Elektronik Mühendisliği ve Siber Sistemler Bilim Dalı
Prof. Dr. BAHADIR KÜRŞAT GÜNTÜRK
- A comparative evaluation of super resolution methods on color images
Süper çözünürlük metodlarının renkli görüntüler üzerinde karşılaştırmalı değerlendirmesi
FULYA ERBAY
Yüksek Lisans
İngilizce
2011
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Bölümü
PROF. DR. GÖZDE BOZDAĞI AKAR