Derin öğrenme ile süper çözünürlüklü radar görüntüleme
Super resolution radar imaging with deep learning
- Tez No: 769837
- Danışmanlar: PROF. DR. IŞIN ERER
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektronik-Haberleşme Eğitimi Ana Bilim Dalı
- Bilim Dalı: Telekomünikasyon Mühendisliği Bilim Dalı
- Sayfa Sayısı: 71
Özet
Radarlar (Radio Detection and Ranging), genellikle doğal afetler, hava trafik kontrolü, hedef arama, bulma ve takip etme gibi alanlarda kullanılan bir gözlem aracıdır. Radar görüntüleme sistemleri, günün her saatinde ve her türlü hava koşulunda görüntüleyebilme gibi avantajları nedeniyle uzaktan algılama uygulamalarında optik görüntüleme sistemlerinden üstündür. Radar anteninden yayınlanan elektromanyetik sinyal darbelerinin yansıyan tepkileri işlenerek, birçok uzaktan algılama uygulaması için önemli olan hedef nesneye ilişkin mesafe, açı ve hız gibi bilgiler elde edilebilmektedir. Bu tezde de ele alındığı gibi radarlarda en önemli uygulamalardan biri görüntülemedir. Görüntüleme radarlarının en önemli faktörü ise çözünürlüktür. En önemli faktör olmasının yanı sıra başarılması zor bir eylemdir çünkü yüksek çözünürlüklü radar görüntüsünün başarılması yüksek bant çözünürlüklüğü ve açısal genişliğe bağlıdır. Yüksek bant genişliği kademeli frekans veya doğrusal frekans kullanılarak başarılabilse de açısal genişlik antenin boyunun büyük olması ile alakalıdır. Bu durum gerçek hayatta mümkün olamadığı için yapay açıklıklı radarlar devreye girer. Sonuç olarak yüksek çözünürlük, gerçekten anten boyutunu büyütmektense radarın hareketli olmasından yararlanılarak yapay açıklık elde edilmesiyle yapılır. Yapay açıklıklı radar sistemlerinde, radar antenini belirli bir yönde sabit bir hızda hareket ettirerek, genellikle radar antenini bir uçağa entegre ederek yapay bir açıklık oluşturulur. Bu hareket sırasında antenden hedef alana veya nesneye doğru elektromanyetik sinyaller gönderilir ve aynı anda geri saçılan sinyaller toplanır. Yapay açıklıklı radar sayesinde antene gelen sinyallerle görüntü oluşturulur. Hedef hareketli ve radar sabitse ters yapay açıklıklı radar, radar hareketli hedef sabitse yapay açıklıklı radardır. Radarlarda tek bir bakış açısı ile gönderilen işaretten 1 B radar görüntüleri, farklı bakış açılarından toplanan işaretlerin gönderilmesiyle de 2 B radar görüntüleri oluşturulur. Radar görüntüsü oluşturabilmek için menzil ve çapraz menzil profillerine ihtiyaç vardır. Menzil profili oluşturmak için Fourier dönüşümünden yararlanılır. Fourier tabanlı yöntemde sınırlı bant ve açı aralığında çalışıldığı için spektral sızıntı ile karşılanır bu da yan lob problemine sebep olur. Yan lob problemi pencereleme teknikleri ile çözülmeye çalışılsa da bunu yaparken çözünürlük daha da azalır. Bu sorunları çözmek için farklı yöntemler geliştirilmiştir. Fourier dönüşümü yanında spektral kestirim yöntemleri ile de yüksek çözünürlüklü radar görüntüsü elde etmek mümkündür. Bunlara örnek olarak MUSIC VE AR modelleri verilebilir. Bu iki yöntem benzer olsa da yapılan çalışmalar sonucu MUSIC spektral kestirim yönteminin kompleks hedefleri görüntüleme de daha başarılı olduğu bulunmuştur. Başka bir TYAR görüntüleme tekniği ise sıkıştırılmış algılama tabanlı yöntemlerdir. Sıkıştırılmış algılama yöntemi ile daha az veri kullanılır. Ancak, normal Fourier dönüşümü tabanlı yöntemlere göre daha yavaştır. Ayrıca hedefin seyrek temsil edebileceği varsayımına dayanır. Bu sorunlar sebebiyle evrişimli sinir ağ metodları daha başarılı bulunmuştur. Son zamanlarda gelişen derin öğrenme metotları ile yüksek çözünürlüklü görüntüler elde edebilmekte de büyük rol oynar. Bu evrişimli sinir ağları, çok sayıda yüksek çözünürlüklü görüntü kullanarak ağ eğitip bu verileri kullanarak süper çözünürlük işlemini gerçekleştirir. Fakat radar görüntüleme ile çok sayıda görüntü elde etmek çok zor ve maliyetlidir. Bu sebeple bu sorunu çözmek için eğitim gerektirmeyen yeni bir derin ağ literatüre tanıtılmıştır. Önerilen Deep image prior ağında eğitim yapmak yerine ağın içindeki evrişimli sinir ağlarından yararlanılarak bu ağın girişine verilen gürültüyü prior bilgi olarak kullandığı düşük çözünürlüklü görüntü ile referans olarak verilen yüksek çözünürlüklü görüntüye yakınsamaya çalışır. Diğer ağlarda ağ eğitmek için veriler üretilirken veri setini büyütmek için verilere gürültü ekleme, döndürme, çevirme vb. veri çoğaltma fonksiyonları uygulanmıştır. Bu uygulanan görüntüler toplanıp bazı metrikler dahilinde karşılaştırılmıştır. Görsel karşılaştırılmaların yanı sıra elde edilen sonuçlar literatürde radar görüntüleme için kullanılan kabul görmüş bazı metrikler kullanılarak karşılaştırılmıştır. Bu metrikler psnr, entropi, ssim'dir. Sonuç olarak, düşük çözünürlüklü görüntüleri iyileştirip yüksek çözünürlüklü radar görüntüleri elde etmek için 5 farklı derin öğrenme modeli sunulmuştur. Bu ağlar PFA sonuçlarını iyileştirmek için kullanılmıştır. Eğitim gerektiren ağlarda çok sayıda veri ve uzun süreli eğitim yapılmadığı için PFA'yı geçememiş fakat DIP ile eğitime ihtiyaç duymadan radar görüntülerinin iyileştirilmesi başarılmıştır. Derin öğrenmede iyi sonuç almak için çok büyük verisetlerine ihtiyaç olmadığı, eldeki veriyi ve sinir ağlarını kullanarak çok daha yüksek çözünürlüklü görüntüler elde edilebileceği görülmüştür.
Özet (Çeviri)
Radars (Radio Detection and Ranging) are an observation tool generally used in areas such as natural disasters, air traffic control, target search, finding and tracking. Radars can be classified as ground-based, airborne, space-based, or ship-based radar systems. In addition, they can be divided into many subclasses according to certain radar characteristics such as frequency band, antenna type and waveforms used. Radar imaging systems are superior to optical imaging systems in remote sensing applications due to their advantages such as displaying at any time of the day and in all weather conditions. By processing the reflected responses of electromagnetic signal pulses broadcast from the radar antenna, information such as distance, angle and speed of the target object, which is important for many remote sensing applications, can be obtained. As discussed in this thesis, one of the most important applications in radars is imaging. Imaging radars play an important role for military and civillian applications. The most important factor of imaging radars is resolution. Resolution, the minimum distance to resolve scatterers, is an important parameter for imaging radar. Both range resolution and cross range resolution make up the image resolution. The range resolution depends on the bandwidth of the transmitted signal and the cross range resolution depends on the antenna size of the transmitted signal. Besides being the most important factor, it is a difficult action to achieve because achieving high resolution radar image depends on high band resolution and angular width. Although high bandwidth can be achieved using cascading frequency or linear frequency, the angular width is related to the larger antenna size. Since this is not possible in real life, artificial aperture radars come into play. As a result, high resolution is achieved by making artificial apertures by exploiting the mobility of the radar rather than actually increasing the antenna size. In artificial aperture radar systems, an artificial aperture is created by moving the radar antenna in a certain direction at a constant speed, usually by integrating the radar antenna into an aircraft. During this movement, electromagnetic signals are sent from the antenna towards the target area or object, and at the same time, the backscattered signals are collected. Thanks to the artificial aperture radar, an image is created with the signals coming to the antenna. If the target is moving and the radar is fixed, it is inverse synthetic aperture radar, if the radar is moving target is fixed, it is synthetic aperture radar. 1D radar images are created from the signal sent with a single point of view on radars, and 2D radar images are created by sending the signals collected from different perspectives. Range and cross range profiles are needed to create a radar image. The Fourier transform is used to create a range profile. Since the Fourier-based method works in limited band and angle range, it is met with spectral leakage, which causes the side lobe problem. Although the side lobe problem is tried to be solved by windowing techniques, the resolution is further reduced while doing this. Different methods have been developed to solve these problems. High resolution is the high pixel density in an image. Thanks to this density, more details can be obtained and these detailed images play an important role in different application areas. High-resolution medical images are used for diagnosis of the disease, radar or satellite images are used for target detection, etc. are of vital importance in applications. Super resolution is a technique of reconstructing and improving the image. In this thesis, super resolution technique on single image will be discussed. This technique is the process of transforming a low resolution image into a high resolution image. In addition to the Fourier transform, it is possible to obtain high resolution radar images with spectral estimation methods. Examples of these spectral estimation methods MUSIC and AR provide high resolution radar images. Although these two methods are similar, studies have shown that the MUSIC spectral estimation method is more successful in imaging complex targets. Another ISAR imaging technique is compressed sensing based methods. Less data is used with the compressed detection method. However, it is slower than normal Fourier transform based methods. The compressed sensing method has been successfully applied in ISAR imaging to improve cross-gap resolution with few pulses. In super-resolution imaging with CS, image reconstruction is based on solving the optimization problem defined under the constraint that the target is sparse, resulting in a high computational overhead. Because of these problems, lately convolutional neural network methods have been found to be more successful. It also plays a major role in obtaining high-resolution images with the deep learning methods that have developed recently. Convolutional neural networks are multilayer neural networks. Generally, it consists of the input layer, volume base layer, subsampling and full link layers. The original image is used as the input in the input layer. The convolution layer processes this image and learns its properties. These convolutional neural networks train the network using a large number of high-resolution images and use this data to perform super-resolution processing. In the subsampling layer, these features are collected and reduced spatial size, then the last layer creates the image with these extracted features. However, it is very difficult and costly to obtain a large number of images with radar imaging. For this reason, a new deep network that does not require training has been introduced to the literature to solve this problem. Instead of training in the proposed Deep image prior network, it tries to converge to the low-resolution image that uses the noise given to the input of this network as prior information and the high-resolution image given as a reference by utilizing the convolutional neural networks inside the network. Adding noise, rotation, flip, etc. to the data to enlarge the dataset while generating data to train the network in other networks. data duplication functions are applied. These applied images were collected and compared within some metrics. In addition to visual comparisons, the results obtained were compared using some accepted metrics used for radar imaging in the literature. These metrics are psnr, entropy, ssim. As a result, 5 different deep learning models are presented to improve low resolution images and obtain high resolution radar images. These networks have been used to improve PFA results. Networks that require training could not pass the PFA due to the lack of a large amount of data and long-term training, but with DIP, radar images were improved without the need for training. Although super resolution has been implemented with deep networks that require various training and good results have been obtained, these deep networks have not been as successful as the proposed method in radar images due to reasons such as the time spent in training and the small data set. If large datasets are used under suitable conditions and these networks are retrained for a long time, they can give more successful results than DIP. With the proposed method, classical training and data set problems in deep learning are avoided by using only the information obtained from a single low-resolution image. It has been seen that there is no need for very large datasets to get good results in deep learning, and much higher resolution images can be obtained by using the available data and neural networks.
Benzer Tezler
- Deep image prior based high resolution isar imaging for missing data case
Eksik veri için derin görüntü önceli tabanlı yüksek çözünürlüklü tyar görüntüleme
NECMETTİN BAYAR
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. IŞIN ERER
- Uydu görüntülerinde derin öğrenme ile süper çözünürlük
Super resolution with deep learning in satellite images
GAMZE DANIŞMAN
Yüksek Lisans
Türkçe
2023
Elektrik ve Elektronik MühendisliğiGazi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HASAN ŞAKİR BİLGE
- Image super resolution using deep learning techniques
Görüntülerin derin öğrenme teknikleri ile üstün çözünürlükte yeniden oluşturulması
SALAH EDDINE EL BALLOUTI
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolIşık ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA TANER ESKİL
- Super-resolution image generation from earth observation satellites using generative adversarial networks
Çekişmeli üretici ağlar kullanılarak yer gözlem uydularından süper çözünürlüklü görüntü oluşturulması
EZGİ BURÇİN GAZEL BULUT
Yüksek Lisans
İngilizce
2022
Jeodezi ve FotogrametriHacettepe ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ ÖZGÜN OK
- Tekstil üretiminde derin öğrenme tabanlı otomatik hata tespit sistemi
Deep learning based automatic defect detection system in textile production
AHMET METİN
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBursa Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HAYDAR ÖZKAN