Super resolution methods for remote sensing images
Uzaktan algılama görüntüleri için süper çözünürlük metotları
- Tez No: 472640
- Danışmanlar: PROF. DR. ELİF SERTEL
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2017
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Bilişim Enstitüsü
- Ana Bilim Dalı: İletişim Sistemleri Ana Bilim Dalı
- Bilim Dalı: Uydu Haberleşmesi ve Uzaktan Algılama Bilim Dalı
- Sayfa Sayısı: 75
Özet
Uzaktan algılama görüntülerinde çözünürlük, mekansal, spektral, radyometrik ve zamansal çözünürlük olmak üzere dört gruba ayrılır. Bu tez, tek veya çok çerçeveli dü¸sük çözünürlüklü uzaktan algılama görüntülerinin mekansal çözünürlü˘günü arttırmayı hedeflemektedir. Mekansal çözünürlük, algılayıcı tarafından kaydedilen görüntünün en küçük detayı olarak tanımlanabilir. Yani, uydu görüntülerinde, yeryüzündeki ayırt edilebilen en küçük objenin boyutu mekansal çözünürlüktür. Sensörlerin boyutunu arttırarak veya lensleri iyile¸stirerek kamera teknolojisini geli¸stirmek görüntülerin daha iyi algılanmasını sa˘glar ve görüntü çözünürlü˘günü arttırmada birincil sıradaki seçenektir. Ancak uydu görüntüleri uygulaması için, fırlatılmı¸s bir uydunun opti˘gini daha iyi bir teknolojiyle de˘gi¸stirmek imkansıza yakındır. Bu nedenle yazılım tabanlı bir geli¸stirme gereklidir. Bir bölgeyi daha fazla pikselle göstermeye çalı¸sma dü¸süncesi teoride do˘grudur ancak yeterli de˘gildir. Yani, sadece görüntünün boyutunu arttırmak tek ba¸sına bir çözüm de˘gildir. ˙I ¸ste bu çözünürlük arttırma problemi için süper çözünürlük metotları mevcuttur. Bu çalı¸sma literatürde, süper çözünürlükle görüntü iyile¸stirme olarak kullanılmaktadır. Bu tez kapsamında ilk önce, uydu görüntülerine çok çerçeveli süper çözünürlük uygulanmı¸stır. Çok çerçeveli süper çözünürlük uygulaması, özellikle uzaktan algılama verilerinin yüksek boyutları nedeniyle zordur. Ayrıca, hem birden fazla uydu görüntüsü sa˘glamanın maliyeti hem de bir bölgenin yakın tarihli birden fazla kez çekilmi¸s uydu görüntülerinin azlı˘gının neden oldu˘gu veri kısıtlaması nedeniyle uzaktan algılama görüntüleri için çok çerçeveli süper çözünürlük çok yaygın de˘gildir. Bu yöntemin uygulanabilirli˘ginin olması için, aynı alana ait farklı açılardan çekilmi¸s görüntülerin temin edilmesi gerekir. Yani, görüntüler aynı yeri farklı bakı¸s açısıyla çekerek, birbirinden farklı bilgilere sahip olmalıdırlar. Bu farklı bilgiler, alt piksel kayması denilen görüntüler arası kayıklı˘gın hesaplanmasıyla elde edilir. Bu tezde, özgün bir veri uygulaması olarak tri-stereo görüntülerle süper çözünürlük sunulmu¸stur. Tri-stereo uzaktan algılama görüntüleri, bir uydunun yörüngesi boyunca aynı bölgeden, üç farklı açıdan alındı˘gı için, çok çerçeveli süper çözünürlük uygulaması için uygundur. Uygulama için, öncelikle bu üç görüntüden bir tanesi referans görüntü olarak seçilir. Referans görüntü, algılandı˘gı açıya göre belirlenir. NADIR'e en yakın olan görüntü yapılan her uygulamada referans görüntüdür. Bunun sebebi, Yer Ornekleme Mesafesi NADIR'e yakın olan görüntüde en iyi oldugundandır. Daha sonra bu referans görüntünün di˘ger görüntülerle olan alt piksel kayması hesaplanır. Bu tezdeki çok çerçeveli süper çözünürlük uygulamaları sırasında, ölçü faktörü olarak“2”seçilmi¸stir. Yani, görüntünün çözünürlü˘gü“2”katına çıkarılmaya çalı¸sılmı¸stır. Süper çözünürlük teorisine göre, dü¸sük çözünürlük görüntüler, yüksek çözünürlüklü görüntününü alt örneklenmi¸s, bulanıkla¸smı¸s ve kaydırılmı¸s halidir. Bu durumda dü¸sük çözünürlüklü görüntüler, yüksek çözünürlüklü görüntü cinsinden yazılabilir. Alt örnekleme de˘geri ölçü faktörüyle e¸sit ve“2”'dir. Bulanıkla¸sma algılayan opti˘gin lensinden kaynaklandı˘gı için bulanıkla¸sma de˘geri bütün görüntüler için e¸sittir çünkü görüntüler aynı optikle algılanmaktadır. Kayma parametreleri tam sayı olmamalı, yani görüntüler birbirlerinden elde edilememelidirler. Bu bilgiler ı¸sı˘gında, süper çözünürlük teorisine göre operatörler üretilmi¸s ve ters i¸slem gerçekle¸stirilerek yüksek çözünürlüklü görüntüye ula¸sılmaya çalı¸sılmı¸stır. Bu operatörler seyrek matrislerdir ama boyutları çok yüksek oldu˘gundan bu uygulamanın hesaplama süresi yüksektir. Çünkü her piksel için ayrı ayrı i¸slem yapılmaktadır. Di˘ger yandan uydu görüntülerinin boyutları da normal kamerayla çekilen görüntülerle kıyaslanamayacak kadar büyüktür. Ayrıca, bu tezde kullanılan multispektral uydu görntüleri 4 bantlıdır ve matematiksel süreç bu 4 banda ayrı ayrı uygulanmaktadır. Pankromatik görüntü uygulamalarında aynı durum geçerli de˘gildir, çünkü pankromatik görüntüler yalnızca tek bantlıdır. Bu nedenle pankromatik görüntülerde yapılan uygulamalar daha hızlıdır. Çok çerçeveli süper çözünürlük uygulamasında kenarları korumak amacıyla düzenleme metotları olan Toplam Varyans ve Tikhonov kullanılmı¸stır. Uygulama, metotun do˘grulu˘gunu ölçmek amacıyla önce sentetik verilerle denenmi¸stir. Bunun için önce bir uydu görüntüsü alt örneklenip, bulanıkla¸stırılıp ve farklı parametrelerle kaydırılarak dü¸sük çözünürlüklü görüntüler yaratılmı¸stır. Daha sonra mevcut yöntem bu dü¸sük çözünürlüklü görüntülere uygulanmı¸stır. Bu sayede, yeni olu¸sturulan görüntü ve ilk ba¸staki orijinal görüntü birbirleriyle kar¸sıla¸stırılabilir duruma gelmi¸stir. Bu yöntem görüntü füzyonu uygulamalarında da sıkça kullanılmaktadır. Görüntüler çe¸sitli metrikler yardımıyla kar¸sıla¸stırılır ve metrik de˘gerleri ikna edici bir seviyeye ula¸stıktan sonra metodun ba¸sarılı oldu˘gu sonucuna varılır. Bu tür uygulamalarda genellikle bikübik interpolasyonla geni¸sletilmi¸s görüntüyle kar¸sıla¸stırma yapılır. Bu tezde de bu görüntüyle kar¸sıla¸stırılmı¸stır. En son, metot, gerçek verilere uygulanmı¸stır. Bu da görüntülerin çözünürlü˘günü görsel olarak iyile¸stirmeye yaramaktadır. Yani tezin amacına ula¸stı˘gı sonuçlar bu sayede elde edilmektedir. Tezin ikinci katkısı derin ö˘grenme ile tek çerçeveli süper çözünürlük metodunun uydu görüntülerine uygulanmasıdır. Derin ö˘grenme, makine ö˘grenme algoritmalarının en geli¸smi¸s hali olarak kabul edilir ve son yıllarda bilim ve teknolojide en çok uygulaması yapılan konulardan bir tanesidir. Derin ö˘grenmenin di˘ger algoritmalardan en büyük farkları, ö˘grenilen parametrelerin sayısının ve e˘gitime giren veri sayısının çok fazla olmasıdır. Bu yöntem, görüntü sınıflandırma, video analizi, konu¸sma tanıma ve do˘gal dil ö˘grenme süreci dahil olmak üzere çe¸sitli uygulamalarda çı˘gır açmı¸stır. Son olarak, bir derin ö˘grenme metodu olan konvolüsyonel sinir a˘gları, iki farklı süper çözünürlük uygulamasında kullanılmı¸s ve ba¸sarılı olmu¸stur. Bu uygulamaların farklılı˘gı a˘g modellerinin derinli˘gi, filtre sayıları ve filtre boyutlarının farklılı˘gından kaynaklanmaktadır. Derin ö˘grenme uzaktan algılamada da bir çok uygulamada kullanılmaya ba¸slanmı¸stır. Ancak, uydu görüntüleri için konvolüsyonel sinir a˘gları ile süper çözünürlük ilk kez bu tezde kullanılmı¸stır. Konvolüsyonel sinir a˘gları, yapay sinir a˘gları ile belli boyuttaki filtrelerin e˘gitilmesiyle olu¸sturulur. Derin ö˘grenmede a˘gların mimarisi çok fazla de˘gi¸skenlik göstermektedir. Buradaki filtre sayıları ve filtre boyutları uygulamadan uygulamaya de˘gi¸smektedir. Bu süper çözünürlük uygulamalarında kulanılan iki a˘g modeli birbirleridnen farklıdır. E˘gitim a¸samasından sonra olu¸sturulmu¸s bu modeller bu tezde kullanılmı¸stır. Kullanılan modeller tek kanallı uydu görüntüsüne uygulanmaya uygun oldu˘gu için, uzaktan algılama verilerine IHS dönü¸sümü yapılmı¸s, daha sonra önceden e˘gitilmi¸s konvolüsyonel sinir a˘gları modelleri uzaktan algılama görüntülerine uygulanmı¸stır. Metotlar sadece Yo˘gunluk kanalına uygulanmı¸s, daha sonra ters IHS dönü¸sümüyle renkli görüntü tekrardan elde edilmi¸stir. Bu sayede, hesaplama yükü azaltılmı¸stır. Kullanılan modellerin ikisi de görsel olarak iyi sonuç verse de bir tanesi di˘gerine göre metrik de˘gerlerine bakıldı˘gında çok daha iyi sonuç vermi¸stir. Metrik olarak SSIM, PSNR, SAM ve ERGAS kullanılmı¸stır. Çok çerçeveli süper çözünürlük de oldu˘gu gibi, bu uygulamada da sentetik veri üretilip, ula¸sılan sonuç ilk görüntüyle kar¸sıla¸stırılmı¸stır. Daha sonra görsel iyile¸stirme sonuçları elde edilmi¸stir. Çok çerçeveli çözünürlük uygulamasında çözünürlük arttırma kat sayısı 2 iken, bu uygulamada 2, 3 ve 4 kat uygulamaları yapılmı¸stır. ˙Iyi sonuç veren modelin, a˘g mimarisi di˘gerine göre daha derindir. Bir tanesi yalnızca 3 katman olu¸suyorken, daha derin model 20 katmandan olu¸smaktadır. 3 katmanlı olan yalnızca SSIM de˘gerlerinde iyi sonuçlar vermi¸stir. Veri olarak, ˙ITÜ Uydu Haberle¸smesi ve Uzaktan Algılama Merkezinin sa˘glamı¸s oldu˘gu SPOT ve Pleiades uydularının görüntüleri kullanılmı¸stır. SPOT multisepktral görüntüsünün mekansal çözünürlü˘g 6 metre, pankromatik görüntüsününü 1.5 metredir. Pleiades'inki ise multisepktral için 2 metre, pankromatik için 0.5 metredir. Pleiades için yer örnekleme aralı˘gı yakla¸sık 0.70'tir. Örne˘gin bir Pleiades tri stereo üçlüsü için ba¸slangıç açıları sırasıyla 2.802, 6.846 ve 7. 188'dir. Bu uygulamalarda bazı kısıtlamalar da vardır. Uydu, tri-stereo görüntüleri yakla¸sık 30 saniye farkla almaktadır. Özellikle kalabalık ve trafi˘gi çok olan ¸sehirlerde, 30 saniyede bile, görüntüler arası hareket göze çarpmaktadır. O nedenle elde edilen yüksek çözünürlüklü görüntülerde kaymalar meydana gelebilmektedir. Örne˘gin bir araba iki farklı yerde gözükebilir. Ayrıca da˘glık alanlarda, açı farkından dolayı görüntülerde büyük farklılıklar olu¸smaktadır. Örne˘gin bir görüntü da˘gın bir yamacına bakarken di˘geri ba¸ska bir yamacına bakıyor olabilir. Bu da görüntülerin birbirinden tamamen farklı görüntülermi¸s gibi algılanmasına sebep olabilir ve çok çerçeveli çözünürlük için kısıtlayıcı bir özelliktir. Aynı kısıtlamalar tek çerçeveli süper çözünürlük için geçerli olmadı˘gı için tek çerçeveli süper çözünürlük uygulaması daha kolaydır. Ancak görsel sonuçlar, çok çerçeveliye göre daha varsayıma dayalıdır. Bu tezde, derin ö˘grenmeyle süper çözünürlü˘gün uydu görüntüleridne kullanılabilece˘gi gösterilmi¸stir. Gelecek çalı¸sması için, uydu görüntülerinin kullanıldı˘gı bir e˘gitim a¸samasıyla beraber olu¸sturulmu¸s konvolüsyonel sinir a˘gı modeli, bu tezdeki sonuçlardan daha iyi sonuç verebilece˘gi öngörülmektedir.
Özet (Çeviri)
This thesis aims at enhancing the spatial resolution of single or multi frame remote sensing images. This process is referred to as super resolution (SR) image reconstruction in the literature. Application of multi frame super resolution to real data presents challenges due to the very high dimensions of the datasets, such as those obtained in RS satellite imaging and due to the impacts of atmospheric, topographic, land cover charateristics and sun-sensor-geometry during the data acquisition. Besides, multi-frame super resolution for remote sensing images is not common because of lack of data. In this thesis, a novel application of tri-stereo RS satellite images based on regularization method to the super resolution problem is proposed. Since the tri-stereo RS images of the same observation area are acquired from three different viewing angles along the flight path of the satellite, these RS images are properly suited to a SR application. For multi frame super resolution, regularization methods which are Total Variation and Tikhonov are used to preserve edges. The second contribution of the thesis is deep learning based single frame super resolution. Two pre-trained convolutional neural network models, SRCNN and VDSR, are applied to remote sensing images after IHS transform. Since this implementation is single frame super resolution, disadvantages of topography or moving objects doesn't effect the results such multi frame super resolution does; therefore, method can be applied to all kind of areas such as mountainous regions. Methods are implemented to Intenstiy channel only, then colour information is restored with an inverse IHS transformation. As data, SPOT and Pleiades satellites images which are acquired by ITU Center for Satellite Communications and Remote Sensing (CSCRS) are used. Pleiades 1A, 1B RS satellite images having 0.5 m product spatial resolution for panchromatic mode and 2.0 m product spatial resolution for multispectral mode that include 4 spectral bands (Red, Green, Blue and IR); and SPOT 6 , SPOT 7 RS satellite images, which have 1.5 m and 6.0 m product spatial resolution for panchromatic and multispectral modes respectively. Structural Similarity Index (SSIM), Peak Signal Noise Ratio (PSNR), Spectral Angle Mapper (SAM) and ERGAS values are calculated for a quantitative evaluation of the methods, which showed satisfactory results with synthetic low resolution images. Finally, the method which gave better results, is tested within a real scenario, i.e. with original low resolution images and the obtained high resolution images demonstrated visible qualitative enhancements.
Benzer Tezler
- Uzaktan algılama görüntülerinde Swin tabanlı dönüştürücülerin ön işlem olarak kullanılmasının sınıflandırmada karşılaştırılması
Comparison of Swin-based transformers as preprocessing in remote sensing image classification
BERFİN KURTOĞLU
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHarran ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SERDAR ÇİFTÇİ
- Görüntü işlemede derin öğrenme tabanlı süper çözünürlük uygulamaları
Deep learning based super resolution applications in image processing
AHENK VURAL
Yüksek Lisans
Türkçe
2021
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ENDER METE EKŞİOĞLU
- Single-frame and multi-frame super-resolution on remote sensing images via deep learning approaches
Derin öğrenme yaklaşımlarıyla uzaktan algılama görüntülerinde tek çerçeve ve çok çerçeve süper çözünürlük
PEIJUAN WANG
Doktora
İngilizce
2022
İletişim Bilimleriİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Öğrenme tabanlı tek görüntü süper çözünürlüğü yaklaşımlarının geliştirilmesi ve uygulanması
Development and implementation of learning based single image super resolution approaches
SELEN AYAS
Doktora
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKaradeniz Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MURAT EKİNCİ
- Derin öğrenme tabanlı süper çözünürlük teknikleri kullanarak JPEG sıkıştırma kaybının iyileştirilmesi
Recovering JPEG compression loss via deep learning-based super resolution techniques
MUHAMMET BOLAT
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
PROF. DR. LÜTFİYE DURAK ATA
DR. NURULLAH ÇALIK