Geri Dön

Derin öğrenme ile uydu görüntülerinde hedef tespiti

Target detection in satellite images using deep learning

PDF İndir

  1. Tez No: 704934
  2. Yazar: VAZIRKHAN TARVERDIYEV
  3. Danışmanlar: PROF. DR. IŞIN ERER
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilim ve Teknoloji, Elektrik ve Elektronik Mühendisliği, Science and Technology, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: Türkçe
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: İletişim Sistemleri Ana Bilim Dalı
  12. Bilim Dalı: Uydu Haberleşmesi ve Uzaktan Algılama Bilim Dalı
  13. Sayfa Sayısı: 105

Özet

Uydu görüntüleri üzerinden makine öğrenmesi yöntemleri ile nesne tespiti günümüzde uzaktan algılama alanında önemli bir araştırma konusudur. Uydu görüntüleri optik (multispektral görüntü, pankromatik görüntü) ya da radar sensörlerinden (SAR görüntüsü) alınmış olabilir. SAR sistemleri 7/24 her türlü hava koşulunda çalışabildikleri için optik görüntülere göre avantaj sağlarlar ancak benek gürültüsünden etkilenirler. Pankromatik görüntüler yüksek uzamsal çözünürlüğe sahipken, multispektral görüntüler düşük çözünürlüklüdür ancak yüksek miktarda spektral bilgi içerirler. SAR görüntülerindeki benek gürültüsü görüntü kalitesini düşürür ve görüntü yorumlamasını zorlaştırır. Benek gürültüsü SAR görüntüleri üzerinde olumsuz bir etkiye sahip olduğundan, benek gürültüsü giderme SAR görüntülerinin uygulamalarını yürütmek için çok önemli bir ön işleme adımıdır. Bu çalışmada, gürültü giderme için SAR-BM3D ve LEE filtresi yöntemleri kullanılmışdır. Kullanılan bu yöntemler için derin öğrenme aşamasında nesne tespitinde gösterdiği performans artışı raştırılmıştır.Gürültü giderme yöntemlerinin hedef tespiti üzerinde başarılı etkisi sonuç örnekler üzerinden gösterilmiştir. Belirli bir uydu görüntüsünde binaları manuel olarak etiketlemenin zor olmasının ana nedenleri, görüntüdeki toplam nesne sayısı ve uydu görüntüsünün çözünürlüğüdür. MS(Multispektral) ve PAN Görüntülerinden gelen tamamlayıcı bilgileri kullanan pankeskinleştirme, uzamsal çözünürlüğü artırarak spektral bozulmayı azaltmaya yardımcı olduğu için popülerlik kazanmaktadır. Yüksek uzamsal çözünürlüğe sahip MS görüntüleri kullanmanın avantajı, birçok uzaktan algılama uygulamasında gözlenmektedir. Renk bilgisi, gri tonlamalı PAN görüntüsüne kıyasla görüntünün farklı bölgelerini tanımaya yardımcı olur. Bu nedenle, bu spektral içerikleri daha iyi uzamsal çözünürlüklü bir görüntüde kullanabilirsek, sahnedeki nesnelerin tanımlanması kolaylaşlaşacaktır. MS görüntülerinin uzamsal çözünürlüğünü arttırmak için bir dizi klasik yöntem mevcuttur. MS görüntüler düşük uzamsal çözünürlüğe sahipken, pankromatik görüntüler yüksek çözünürlüğe sahip olup renk bilgisi içermezler. Düşük uzamsal kaliteye sahip veya renk bilgisi olmayan görüntüler hedef tespitini zorlaştırır, bu nedenle yüksek spektral ve uzamsal çözünürlüğe sahip görüntülerin elde edilmesi önemli bir konu haline gelmiş ve bu yüzden pankeskinleştirme tekniği kullanılması önerilmiştir. Tez çalışmasında AWLP, GIHS, BFLP, ABF-MTF, DE-ABF yöntemleri uygulanarak pankeskinleştirme işlemleri gerçekleştirilmiştir. ABF-MTF yönteminin performansı büyük ölçüde uzamsal ve aralık parametrelerinin seçimine bağlı olduğundan, parametre seçimi sonuçları ciddi şekilde etkiler. SAR ve Multispektral görüntüler üzerinden hedef tanıma problemini çözmek için, hedef belirleme adımından hemen önce SAR görüntülere gürültü giderme ve Multispektral görüntülere pankeskinleştirme işlemi uygulanmış veri setleri oluşturulmuştur. Aynı şekilde bu veri setleri eğitim, doğrulama ve test bölümlerine ayrılarak SSD, Faster R-CNN, Yolo v3 ve Yolo v5 modelleri ile eğitilmiştir. Gürültü giderme ve pankeskinleştirme yöntemlerinin gerek veri arttırma gerek ön işlem olarak kullanılımının SAR ve multispektral görüntülerde hedef tespit oranlarını atrrırdığı gösterilmiştir.

Özet (Çeviri)

Image processing via satellite images and detection of objects is an important issue today. At the same time, the ability to generate a large number of remote sensor images indicates that there are plenty of SAR (Synthetic Aperture Radar) and Optical images available. For this reason, it is a precaution to understand how efficient object recognition can be achieved on SAR and Optical images with machine learning techniques. At the same time, the objects that are tried to be detected from their images are: buildings, water tanks, man-made structures such as ships, bridges, vehicles, planes. But the complexity of the background and the variety of objects make this task very difficult. Object detection involves searching for individual structures in an image and typically using a bounding box to display them. Deep learning and target detection models differ, but different detection models can be selected depending on the type of target or the depth of the problem. Depending on the complexity of the deep learning architecture, target attributes are determined during the target detection phase and target classification is made. At the same time, the ability to generate a large number of remote sensor images indicates that there are plenty of SAR (Synthetic Aperture Radar) and Optical images available. For this reason, it is a precaution to understand how efficient object recognition can be achieved on SAR and Optical images with machine learning techniques. Target detection in Synthetic Aperture Radar (SAR) images has been the focus of many research studies until now. SAR is an advanced active microwave sensor with high resolution and wide area characteristics. Since these sensors can collect information in all weather conditions, they are widely used to monitor maritime activities and collect data over a period of time. SAR images differ from optical images, and the microwave imaging mechanism is more complex. With the rapid development of SAR sensors in the last few years, the volumes of SAR image data have increased and the data has become easier to obtain. This has led to the possibility of the use of deep learning methods for ship detection in SAR images. SAR images are affected by a strong multiplicative noise called speckle. As a result, predicting objects and regions of interest in SAR images can be a very difficult task even for a skilled human interpreter and can be prohibitive for automatic segmentation or classification algorithms. Speckle noise in SAR images degrades image quality and makes image interpretation difficult. Because speckle noise has a negative impact on SAR images, this noise reduction technique is a crucial preprocessing step for executing applications of SAR images. In this study, SAR-BM3D and LEE filter methods are used for noise removal. Lee filter removes speckle noise while changing the filter coefficient according to local statistical properties in a fixed window area. SAR BM3D is a state-of-the-art SAR noise removal algorithm that effectively copes with SAR images. The radar image must be cut according to the application dimensions. The image of the required size is given to the undecimated wavelet transform, from which all possible coefficients are subtracted. After separating the coefficients with some threshold, the necessary coefficients are summed and given to the inverse decimal wavelet transform. For these methods used, its efficiency in object detection during the deep learning phase was also investigated. Thus, the results obtained with the images created after noise removal can be viewed. First, a total of 3 datasets were created by applying SAR-BM3D and LEE filter methods to the dataset containing SAR images in the raw state without noise reduction. These data sets, which were obtained later, were divided into training, validation and test parts. Then, by applying SSD, Faster R-CNN, YOLO v3 and YOLO v5, the appropriate values of the models trained with these three separate data sets were compared after training. The successful effect of noise removal methods on target detection has been demonstrated through the final examples. Considering the results, it has been confirmed by the graphics that the Yolo v5 and Faster R-CNN models show very successful results in target detection. Object detection in high resolution satellite images has recently become a major concern in new geospatial information methods. The most important of these applications is the acquisition of buildings and roads. One of the main reasons why manually tagging buildings in a given satellite image is challenging for the human expert is the total number of objects in the image. Another reason is the resolution of the satellite image. Although the resolution of the satellite images has reached an acceptable level, it is not possible for the human expert to extract information from it in a solid way. Various methods have been introduced by researchers to solve this problem. Image fusion is a technique for integrating the geometric detail of a high-resolution panchromatic (Pan) image and the color information of a low-resolution multispectral (MS) image to produce a high-resolution MS image. While panchromatic images have high resolution, they do not contain color information like multispectral images obtained with sensors. Using complementary information from MS and PAN Images, pansharpening is gaining popularity as it help to reduce spectral distortion by increasing spatial resolution. The advantage of using MS images with high spatial resolution is observed in many remote sensing applications. As mentioned, color information helps to recognize different regions of the image compared to a grayscale PAN image. Therefore, the identification of objects in a scene will be enhanced if we can use these spectral contents in a better spatial resolution image. A number of classical methods are available to increase the spatial resolution of MS images. Multispectral images have low spatial resolution while panchromatic images have high resolution but contain no color information. Images with low spatial quality or without color information make target detection difficult, therefore, obtaining images with high spectral and spatial resolution has become an important issue and many pansharpening techniques have been developed by combining the two images. In the thesis study, pansharpening processes were carried out by applying AWLP, GIHS, BFLP, ABF-MTF, DE-ABF methods. Since the performance of the ABF-MTF method largely depends on the selection of spatial and spacing parameters, parameter selection seriously affects the results. Therefore, by changing the value of this parameter, it is possible to control the amount of detail information (DE-ABF). The pansharpening process was applied on the images just before the target determination step and a total of 6 data sets were created, including the raw image set. Likewise, these data sets were divided into training, validation and test parts and were trained with SSD, Faster R-CNN, Yolo v3 and Yolo v5 models. The training results are presented in the form of loss graphs of the models trained with these datasets, and the superior performance of the pansharpening methods in target detection can be observed with these outputs. The aim of this thesis is to use deep learning models to solve the target recognition problem over SAR and Multispectral images and to examine the contribution of noise removal and pansharpening methods to this solution.

Benzer Tezler

  1. Tez No

    732793

    Aircraft detection using deep learning

    Derin öğrenme kullanarak hava aracı tespiti

    UTKU MUTLU

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    İletişim Sistemleri Ana Bilim Dalı

    PROF. DR. SEDEF KENT PINAR

  2. Tez No

    619628

    İnsansız hava araçları ve uydu görüntülerinden elde edilen veri seti ile havaalanlarının tespitinin yapılmasında SSD ve Faster R-CNN algoritmalarının karşılaştırılması

    Comparison of SSD and Faster R-CNN algorithms to detect the airports with data set which obtained from unmanned arial vehicles and satellite images

    MUHAMMED TAHA ZEREN

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Endüstri ve Endüstri MühendisliğiBeykent Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ SABAHATTİN KEREM AYTULUN

  3. Tez No

    807236

    Deep unfolding for clutter removal in ground penetrating radar

    Yere nüfuz eden radarda kargaşa gidermek için derin katman açma

    SAMET ÖZGÜL

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    İletişim Sistemleri Ana Bilim Dalı

    PROF. DR. IŞIN ERER

  4. Tez No

    694473

    Evrişimli sinir ağları ile yüksek çözünürlüklü uydu görüntülerinden uçak tespiti

    Aircraft detection from high resolution satellite images with convolutional neural networks

    EMİNE DİLŞAD ÜNSAL

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    İletişim Sistemleri Ana Bilim Dalı

    PROF. DR. ELİF SERTEL

  5. Tez No

    666259

    Derin öğrenme ile yere nüfuz eden radarlarda hedef tespiti

    Target detection on ground penetrating radars (GPR) with deep learning

    FATİH KÖPRÜCÜ

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Bilim ve Teknolojiİstanbul Teknik Üniversitesi

    İletişim Sistemleri Ana Bilim Dalı

    DOÇ. DR. IŞIN ERER

Geri Dön