Uydu görüntülerinde derin öğrenme ile süper çözünürlük
Super resolution with deep learning in satellite images
- Tez No: 842197
- Danışmanlar: PROF. DR. HASAN ŞAKİR BİLGE
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 83
Özet
Yüksek çözünürlüklü görüntü, uzaktan nesne algılama kapsamında ihtiyaç haline gelmiştir. Yüksek çözünürlüklü görüntü çeşitli uygulamalarda kritik olabilecek daha fazla ayrıntıyı içermektedir. Çoğu uydu aynı sahneye ait yüksek çözünürlüklü pankromatik ve daha düşük çözünürlüklü multispektral görüntü sunabilmektedir. Araştırmacılar multispektral görüntülerin çözünürlüğünün arttırılması sürecinde, pankromatik görüntünün içerdiği bilgilerden yararlanarak çeşitli geleneksel pankeskinleştirme yöntemi sunmuşlardır. Fakat bu teknikler önemli ölçüde spektral ve uzamsal bozulmadan mustariptir. Bu dezavantajların üstesinden gelebilmek adına günümüzün trendi olan derin öğrenme mimarilerine bu problemin araştırılması sunulmuştur. Bu kapsamda birçok derin öğrenme tabanlı pankeskinleştirme yöntemi tasarlanmıştır. Gerçekleştirdiğimiz çalışmada hem geleneksel hem de derin öğrenme tabanlı pankeskinleştirme yöntemlerini uygulayarak en iyi sonucu elde eden modeli araştırılmıştır. Uygulamış olduğumuz bu yöntemlerden en iyi sonucu elde ettiğimiz modelin çıktı performansını artırmak adına süper çözünürlük için tasarlanmış artık yoğun ağ katmanını derin öğrenme modeline kazandırılmıştır. Bu yaklaşımımız ile Landsat-8 veri setinde 33,291'den 33,521 PSNR skoruna, WorldView-3 veri setinde 33,534'den 33,544 PSNR skoruna ulaşılmıştır. Sunulan yöntemlerde ağ çıkışının doğruluk sonuçlarına ek olarak modelle ilişkili hesaplama süresinin de önemli bir parametre olduğu fark edilmiştir. Bu kapsamda daha hızlı hesaplama süresi maliyeti sunan FPGA ortamında derin öğrenme tabanlı pankeskinleştirme yöntemlerini sunabilmek adına Xilinx Kria KV260 geliştirme kartı kullanılmıştır. Derin öğrenme tabanlı pankeskinleştirme yöntemlerini FPGA ortamına taşırken Vitis AI aracından faydalanılmıştır. Sonuçlar, hesaplama süresi maliyeti açısından, FPGA'nın CPU ve GPU ortamlarına kıyasla üstün işleme yeteneğini doğrulamaktadır. Önerilen model ile FPGA ortamında Landsat-8 veri setinde 33,331 PSNR skoruna, WorlView-3 veri setinde 31,051 PSNR skoruna ulaşılmıştır. Bu derin öğrenme modeli ile CPU ortamında 0,693 saniyede ve GPU ortamında 0,117 saniyede çıktı elde edilirken, FPGA ortamında 5,601 W güç tüketimine sahip donanım ile 0,053 saniye de model çıktısı elde edilmiştir.
Özet (Çeviri)
Images with higher resolutions have become a significant necessity within the scope of remote object detecting. A high-resolution image offers more detail which can be vital for various applications. Most of the satellites can provide high-resolution panchromatic and lower-resolution multispectral images of the same scene. During the process of increasing the resolution of multispectral images, researchers have presented various conventional pansharpening methods by taking advantage of the information contained in the panchromatic image. Nevertheless, mentioned techniques suffer significantly due to spectral and spatial distortions. To overcome these disadvantages, the investigations of this problem has been introduced to trending deep learning architectures. In scope of this situation, many deep learning-based pansharpening methods have been proposed. In this study, the model that achieved the best results by applying both conventional and deep learning-pansharpening methods was investigated. To increase the output performance of the model in which we achieved the best results from these methods we applied, we added the intense network layer designed for super resolution to the deep learning model. As the result of this approach, we obtained a PSNR score from 33,291 to 33,521 in the Landsat-8 dataset and a PSNR score from 33,534 to 33,544 in the WorldView-3 dataset. It has been noticed that in the proposed methods, in addition to the accuracy results of the network output, the computation time associated with the model is also an important parameter. In this context, Xilinx Kria KV260 development card was used to offer deep learning-based pan-sharpening methods in the FPGA environment that is capable of offering faster computation time costs faster. Vitis AI tool was used when transferring deep learning-based pansharpening methods to the FPGA environment. The results confirm the superior processing ability of FPGA compared to CPU and GPU environments in terms of computation time cost. With the proposed model, a PSNR score of 33.331 and 31.051 were achieved in the FPGA environment based on Landsat-8 and WorldView-3 datasets respectively. In addition, output was obtained in 0.693 seconds in the CPU environment and 0.117 seconds in the GPU environment, while model output was obtained in 0.053 seconds in the FPGA environment with hardware with a power consumption of 5.601 W.
Benzer Tezler
- Satellite images super resolution using generative adversarial networks
Uydu görüntülerinde çekişmeli üretici ağ kullanarak süper çözünürlük
MARYAM SERDAR
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. AHMET HAMDİ KAYRAN
- Single-frame and multi-frame super-resolution on remote sensing images via deep learning approaches
Derin öğrenme yaklaşımlarıyla uzaktan algılama görüntülerinde tek çerçeve ve çok çerçeve süper çözünürlük
PEIJUAN WANG
Doktora
İngilizce
2022
İletişim Bilimleriİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Yüksek çözünürlüklü görüntülerde derin öğrenme tabanlı nesne tespiti için yeni bir önişleme yöntemi geliştirilmesi
Development of a new preprocessing method for deep learning based object detection in high resolution images
MUHAMMED TELÇEKEN
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. DEVRİM AKGÜN
PROF. DR. SEZGİN KAÇAR
- Super resolution methods for remote sensing images
Uzaktan algılama görüntüleri için süper çözünürlük metotları
ÇAĞLAYAN TUNA
Yüksek Lisans
İngilizce
2017
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Uydu imgelerine derin öğrenme tabanlı süper çözünürlük yöntemlerinin uygulanması ve imgelerin iyileştirilmesi
Application of deep learning based super resolution methods to satellite images and improvement of images
AYŞE CENGİZ
Yüksek Lisans
Türkçe
2020
Bilim ve TeknolojiFırat ÜniversitesiEkobilişim Ana Bilim Dalı
DOÇ. DR. DERYA AVCI