SAR, optik ve spektral uydu görüntülerinin füzyonunda gürültü giderme, kanal seçimi ve sınıflandırma başarısının değerlendirilmesi
Evaluation of noise removal, channel selection and classification success in the fusion of SAR, optical and spectral satellite images
- Tez No: 942878
- Danışmanlar: DOÇ. DR. CANER ÖZCAN
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Karabük Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 132
Özet
Bu çalışmada, hem Sentetik Açıklıklı Radar (Synthetic Aperture Radar (SAR)) ve optik görüntülerin füzyonuna yönelik gürültü azaltmaya dayalı hibrit bir yöntem geliştirilmiş hem de SAR ve multispektral görüntülerin füzyonunda kanal seçiminin arazi sınıflandırma başarısına etkisi kapsamlı şekilde incelenmiştir. Yapılan çalışmalar, farklı görüntü füzyon senaryolarında veri kalitesini ve sınıflandırma doğruluğunu artırmayı amaçlamakta olup, Sentinel-1, Sentinel-2 ve Sentinel-2 multispektral veri setleri kullanılarak gerçekleştirilmiştir. Günümüzde uzaktan algılama uygulamaları, farklı sensörlerden elde edilen görüntülerin füzyonu yoluyla daha doğru ve anlamlı bilgi üretimini mümkün kılan görüntü füzyonu tekniklerinden yoğun şekilde yararlanmaktadır. Özellikle SAR, optik ve multispektral görüntüler, farklı fiziksel özellikleri algıladıkları için birbirini tamamlayıcı nitelikte bilgiler sunmakta ve bu görüntülerin birlikte kullanımı uzaktan algılama analizlerinin doğruluğunu artırmaktadır. SAR'ın görüntüleme prensibi ve görüntülerde oluşan gürültü, görsel olarak yorumlanmasını zorlaştırmaktadır. SAR verilerinin daha geniş bir kullanıcı kitlesi tarafından anlaşılabilir hale getirilmesi amacıyla, SAR ve optik görüntülerin füzyonu önemli bir araştırma alanı olarak öne çıkmaktadır. Ancak, SAR ve optik görüntülerin elde edilme yöntemlerindeki farklılıklar nedeniyle, genellikle birbirine karşılık gelen görüntüleri bulmak güçleşmektedir. Bu zorluğun üstesinden gelebilmek adına Sentinel-1 ve Sentinel-2 veri setleri geliştirilmiştir. Literatür incelendiğinde, Sentinel-1 ve Sentinel-2 veri setleri ile çeşitli görüntü füzyon yöntemlerinin kullanıldığı, ancak füzyon öncesinde gürültü giderme işlemi uygulanarak yöntemlerin performansının test edilmediği görülmektedir. Füzyon işleminin sonucunun daha anlaşılır hale getirilmesi amacıyla çalışmada, füzyon öncesinde gürültü azaltma işlemi gerçekleştirilmiş ve sonuçların iyileştirilmesi hedeflenmiştir. Bu kapsamda gerçekleştirilen ön çalışmalarda, literatürde yer alan dokuz farklı füzyon algoritması, çeşitli görüntü grupları ve farklı gürültü azaltma seviyeleriyle test edilmiştir. Elde edilen sonuçlar, literatürde yaygın olarak kullanılan dokuz farklı metrik ile karşılaştırılmıştır. Yapılan analizler, SAR verilerindeki benek gürültüsünün giderilmesinin, füzyon performansını önemli ölçüde iyileştirdiğini ortaya koymuştur. SAR verilerinde gürültü giderme işlemi sırasında, yalnızca gürültünün değil, bazı değerli verilerin de etkilendiği gözlemlenmiştir. Bu etkinin en aza indirilmesi ve füzyon işleminin daha başarılı olması adına, SAR görüntüleri üzerindeki farklı yoğunluk alanlarına özel gürültü giderme işlemleri uygulanmıştır. Önerilen yöntemde, gürültü giderme aşamasında görüntü küçük boyutlu piksellere ayrılmış ve her bir parçanın standart sapması hesaplanarak farklı gürültü giderme oranları uygulanmıştır. Böylece, nesne sınırları, kenar bilgisi, dokusal detaylar, küçük ölçekli yapılar, ince çizgisel yapılar ve yüzey pürüzlülüğü gibi analiz ve sınıflandırma süreçlerinde kritik rol oynayan değerli verilerin kaybı önlenmiştir. Deneysel sonuçlar, önerilen yöntemin mevcut füzyon yöntemlerine kıyasla üstün performans sergilediğini ortaya koymaktadır. Önerilen yöntem, diğer yöntemlere kıyasla daha başarılı metrik sonuçları elde ederken, görsel çıktılardaki gürültü sorununu da ortadan kaldırmaktadır. Yapılan ikinci çalışmada ise, SAR ve multispektral görüntülerin füzyonunda kanal seçiminin arazi sınıflandırma başarısına etkisi incelenmiştir. Sentinel-1 SAR verileri ve Sentinel-2 multispektral görüntüleri kullanılarak oluşturulan veri seti üzerinde analizler gerçekleştirilmiştir. Multispektral görüntülerde bulunan tüm spektral kanalların doğrudan kullanılması yerine, Parçacık Sürü Optimizasyonu (Particle Swarm Optimization (PSO)) algoritması ile en uygun kanallar belirlenmiştir. Kanal seçim sürecinde, ERGAS (Erreur Relative Globale Adimensionnelle de Synthèse), Entropi, Kalite İndeksi (Q), RASE (Relative Average Spectral Error) ve RMSE (Root Mean Square Error) gibi metrikler kullanılmış ve yapılan testler sonucunda ERGAS metriğinin en uygun kanal kombinasyonunu belirlemede en iyi performansı sergilediği tespit edilmiştir. Seçilen kanallar, Alt Örneklenmemiş Shearlet Dönüşümüne Dayalı Çok Ölçekli ve Çok Bantlı Görüntü Füzyonu (Non-Subsampled Shearlet Transform - Multi-Scale and Multi-Grain - Pulse Coupled Neural Network(NSST-MSMG-PCNN)) ve Ağırlıklı Gradyan Tabanlı Füzyon Yöntemi (Multi-Scale Weighted Gradient-Based Fusion (MWGF)) algoritmaları kullanılarak SAR görüntüleri ile birleştirilmiş ve elde edilen görüntülerin sınıflandırma doğruluğu analiz edilmiştir. Kanal seçimi öncesi ve sonrası sınıflandırma doğrulukları karşılaştırıldığında, en başarılı sonuçlar NSST-MSMG-PCNN yöntemi ve Evrişimsel Sinir Ağı (Convolutional Neural Network (CNN)) tabanlı DenseNet121 algoritmasıyla elde edilmiştir. Kanal seçimi sonrası doğruluğun kanal seçimi öncesine göre NSST-MSMG-PCNN yöntemi ile %68,2'den %73,3'e, MWGF yöntemi ile %63,4'ten %67,5'e yükseldiği gözlemlenmiştir. Sınıflandırma işlemleri, CNN tabanlı derin öğrenme modelleri olan ResNet100, YoloV8 ve DenseNet121 kullanılarak gerçekleştirilmiş ve sonuçlar doğruluk çizelgeleri ile değerlendirilmiştir. Analizler, NSST-MSMG-PCNN algoritmasının MWGF'ye kıyasla daha yüksek doğruluk sağladığını göstermiştir. Elde edilen sonuçlar, farklı dalga boylarında ve farklı bantlardaki uydu görüntülerinin entegrasyonu ile veri füzyon yaklaşımında kanal seçiminin arazi sınıflandırma başarısını önemli ölçüde artırdığını ortaya koymuştur. Gelecekte, kanal seçimi için farklı optimizasyon teknikleri ve füzyon yöntemleri kullanılarak çalışmanın kapsamının genişletilebileceği değerlendirilmektedir.
Özet (Çeviri)
In this study, a hybrid method based on noise reduction is developed for the fusion of Synthetic Aperture Radar (SAR) and optical images, and the effect of channel selection on terrain classification success in the fusion of SAR and multispectral images is extensively investigated. The studies aim to improve data quality and classification accuracy in different image fusion scenarios and have been carried out using Sentinel-1, Sentinel-2, and Sentinel-2 multispectral data sets. Today, remote sensing applications make extensive use of image fusion techniques, which allow more accurate and meaningful information to be produced by combining images from different sensors. In particular, SAR, optical, and multispectral images provide complementary information as they detect different physical properties, and using these images together increases the accuracy of remote sensing analyses. The imaging principle of SAR and the noise in the images make visual interpretation difficult. In order to make SAR data understandable to a wider range of users, the fusion of SAR and optical images is an important area of research. However, due to differences in the acquisition methods of SAR and optical images, it is often difficult to find corresponding images. To overcome this difficulty, the Sentinel-1 and Sentinel-2 data sets have been developed. In the literature, various image fusion methods have been applied to the Sentinel-1 and Sentinel-2 datasets, but the performance of the methods has not been tested by applying a noise reduction process prior to fusion. In order to make the results of the fusion process more understandable, this study applied noise reduction before fusion and aimed to improve the results. In preliminary studies, nine different fusion algorithms from the literature were tested with different groups of images and different levels of noise reduction. The results were compared with nine different metrics commonly used in the literature. The analyses showed that the removal of speckle noise in SAR data significantly improves the fusion performance. It has been observed that the noise removal process in SAR data affects not only the noise but also some of the valuable data. To minimize this effect and make the merging process more successful, special noise removal processes are applied to different intensity areas on SAR images. In the proposed method, the image is divided into small pixels, and different noise removal rates are applied by calculating the standard deviation of each part. This prevents the loss of valuable data such as object boundaries, edge information, texture details, small-scale structures, fine linear structures, and surface roughness, which play a critical role in the analysis and classification process. Experimental results show that the proposed method has superior performance compared to existing fusion methods. While the proposed method achieves more successful metric results compared to other methods, it also eliminates the noise problem in the visual output. The second study investigated the effect of channel selection on the success of terrain classification in the fusion of SAR and multispectral images. Analyses were performed on a dataset generated from Sentinel-1 SAR data and Sentinel-2 multispectral images. Instead of directly using all spectral channels in the multispectral images, the most appropriate channels were determined using a Particle Swarm Optimization (PSO) algorithm. Metrics such as ERGAS (Erreur Relative Globale Adimensionnelle de Synthèse), Entropy, Quality Index (Q), RASE (Relative Average Spectral Error), and RMSE (Root Mean Square Error) were used in the channel selection process. The selected channels were fused with SAR images using Non-Subsampled Shearlet Transform - Multi-Scale and Multi-Grain - Pulse Coupled Neural Network (NSST-MSMG-PCNN) and Multi-Scale Weighted Gradient-Based Fusion (MWGF) algorithms, and the classification accuracy of the resulting images was analyzed. When comparing the classification accuracies before and after channel selection, the best results were obtained with the NSST-MSMG-PCNN method and the DenseNet121 algorithm based on Convolutional Neural Networks (CNN). It was observed that the accuracy after channel selection increased from 68.2% to 73.3% with the NSST-MSMG-PCNN method and from 63.4% to 67.5% with the MWGF method. The classification was performed using the CNN-based deep learning models ResNet100, YoloV8, and DenseNet121, and the results were evaluated using accuracy plots. The analyses show that the NSST-MSMG-PCNN algorithm provides higher accuracy compared to MWGF. The results show that channel selection in the data fusion approach with the integration of satellite images at different wavelengths and in different bands significantly improves the success of terrain classification. In the future, the scope of the study can be extended by using different optimization techniques and fusion methods for channel selection.
Benzer Tezler
- Land cover and land use classification of multi-modal high-resolution satellite images using multi-task deep learning approach
Çok görevli derin öğrenme tekniği ile çok kipli yüksek çözünürlüklü uydu görüntülerinin arazi örtüsü ve arazi kullanımı sınıflandırılması
BURAK EKİM
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Optik ve radar uydu görüntüleri kullanılarak zeytinin farklı fenolojik dönemlerindeki özelliklerinin araştırılması
Properties determination of olive at different phenological periods by using optical and radar satellite images
MEHMET CENGİZ ARSLANOĞLU
Doktora
Türkçe
2019
ZiraatTekirdağ Namık Kemal ÜniversitesiBiyosistem Mühendisliği Ana Bilim Dalı
PROF. DR. SELÇUK ALBUT
- Polarimetrik sar ve optik uydu görüntülerinin veri füzyonu ile sınıflandırma analizi
Classification analysis of polarimetric sar and optical satellite images with data fusion
EMİNE AÇIKSARI
Yüksek Lisans
Türkçe
2019
Jeodezi ve FotogrametriÇanakkale Onsekiz Mart ÜniversitesiCoğrafi Bilgi Teknolojileri Ana Bilim Dalı
DOÇ. DR. ÖZGÜN AKÇAY
- Derin öğrenme ile uydu görüntülerinde hedef tespiti
Target detection in satellite images using deep learning
VAZIRKHAN TARVERDIYEV
Yüksek Lisans
Türkçe
2021
Bilim ve Teknolojiİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. IŞIN ERER