Geri Dön

Deep image prior based high resolution isar imaging for missing data case

Eksik veri için derin görüntü önceli tabanlı yüksek çözünürlüklü tyar görüntüleme

PDF İndir

  1. Tez No: 803912
  2. Yazar: NECMETTİN BAYAR
  3. Danışmanlar: PROF. DR. IŞIN ERER
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Telekomünikasyon Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 119

Özet

Radar (Radio Detection and Ranging), hedef olarak isimlendirilen nesnelerin konumlarını, şekillerini ve hızlarını tespit etmeyi amaçlayan sistemdir. Radar sistemleri ilk olarak savunma sistemleri, uçaklar, hava gözlem ve trafik kontrolü gibi yüksek seviye uygulamalar için kullanılırken daha sonradan otonom sürüş, akıllı araçlar, akıllı ev aletleri, iç mekan gözetlemeleri, canlılara ait hayati değer tespitleri vb. günlük hayat içerisinde insanların ihtiyaç duyduğu konulara çözümler üretmek üzere kullanılmaya başlanmıştır. Temel olarak bir verici anten tarafından yayılan elektromanyetik dalgaların cisimlerin yüzeyinden yansıyarak alıcı antene ulaşması ve alıcı anten tarafından toplanan bu sinyallerin işlenmesi yöntemiyle çalışır. Genellikle alıcı ve verici olarak kullanılan anten aynı olmasına karşın, yüksek çözünürlük sağlayan alıcı ve verici anten dizilerinin kullanıldığı sistemler de bulunmaktadır. Özellikle yakın alan için çözümler sunan yüksek frekanslı sistemler, görüntüleme hassasiyeti için yüksek çözünürlüğe sahip bahsedilen anten yapısını kullanmaktadırlar. Alıcı ve verici anten için açıklanan basit kurgu ile hedefe ait uzaklık ve hız bir boyutlu sinyal işleme yöntemleriyle elde edilebilir. Bir boyutlu yöntemlerden farklı olarak iki boyutlu radar sinyal işleme yöntemi, hedefe ait şeklin çapraz menzil ekseninde elde edilmesini sağlar. Bu işleme radar görüntüleme ve elde edilen sonuca ise radar görüntüsü denir. Radar görüntüsü oluşturmak için değişken frekanslı sinyaller hedef üzerine gönderilir ve hedef farklı açılardan gözlemlenir. Frekans tarama işlemi için doğrusal ya da basamak frekanslı modülasyon yöntemleri ile elde edilmiş değişken frekanslı sinyaller kullanılır. Ancak gözlem yapılan açı radar antenine bağlıdır. Hareketli hedefler için radar ve hedef arasındaki bağıl hareketi temel alan yapay açıklık konsepti kullanılır. Hedefin sabit radarın hareketli olduğu durumlar Yapay Açıklık Radarı (YAR) olarak isimlendirilirken; radarın sabit hedefin hareketli olduğu durumlar Ters Yapay Açıklık Radarı (TYAR) olarak adlandırılır. Daha önce de belirtildiği gibi bağıl hızı temel alan bu yöntemler YAR/TYAR olarak adlandırılır ve polar format algoritması, polar koordinatların kartezyen koordinatlara çevrilmesini sağlar. Daha sonra iki boyutlu ters Fourier dönüşümü, hedefin Range-Doppler (RD) görüntüsü olarak da adlandırılan radar görüntüsünü çıkarmak için ham verilere uygulanabilir. İyi görüntüleme yeteneğine karşın, TYAR görüntüleme çözülmesi gereken çeşitli zorluklar barındırır. Ölçümler sırasında ortaya çıkabilecek ciddi problemler görüntü kalitesini kötü şekilde etkileyebilir. İyi bilinen problemlerden birisi eksik veri problemidir. İstenmeyen parazitik girişimler, harici jamming sinyalleri, hüzme bloklanması ya da bazı teknik problemler ölçümler sırasında eksik veri problemine sebep olabilir. Ölçümler sırasında gerçekleşebilecek problemlere ek olarak kısıtlı açıdan ve kısıtlı frekans aralıklarından veri örneklenerek görüntüleme işlemleri yapılabilir. Bu tarz işlemler sıkıştırılmış ya da sıkıştırıcı algılama olarak adlandırılır. Her iki durumda da geleneksel RD görüntüleme yöntemi, yan hüzme etkisi ve istenmeyen artefaktlar içeren zayıf bir görüntüleme sonucu üretecektir. Kayıp veri miktarına bağlı olarak istenmeyen yan hüzme etkisi ve artefaktlar, TYAR görüntüsü içerisinde hedefin tespitini engelleyecek kadar artabilmektedir. Eksik veri radar tabanlı bir çok alanda ortak bir problemdir. Bu problemi aşmak için MP ya da BP gibi bir boyutlu sinyal kurtarma algoritmaları önerilmiştir. Bu yaklaşımlar sinyalleri, geleneksel Fourier tabanlı üst üste eklenmiş sinüzoidaller ile ifade etmek yerine sözlükler ile ifade etmektedirler. Kullanışlı olmalarının yanında bir boyutlu yöntemler iki boyutlu sinyaller için doğrudan uygulanabilir değillerdir. Bu yüzden bir boyutlu algoritmalar ile iki boyutlu sinyal kurtarımı için Kronecker çarpımı tabanlı yöntemler önerilmiştir. Bu tarz işlemler yüksek hafıza gereksinimine ek olarak yüksek hesaplama yüküne sahiptirler, bu yüzden iki boyutlu seyrek sinyal kurtarma algoritmaları önerilmiştir. 2-D SL0 algoritması, SL0 algoritmasının iki boyutlu olarak geliştirilmiş halidir. İki boyutlu veriler üzerinde doğrudan çalışabiliyor olması sebebiyle bir boyutlu sinyal kurtarma algoritmalarına kıyasla düşük hafıza ihtiyacı ve düşük hesaplama gereksinimi barındırmaktadır. Ayrıca matrislere ait düşük rütbe özelliğini kullanan eksik veri tamamlama yöntemleri de vardır. GoDec, LMAFIT, NNM gibi yöntemler birçok gerçek veri bazlı eksik veri kurtarma işlemleri için kullanılmıştır. Karmaşık veri tipinden dolayı bu yöntemler de ISAR verilerine doğrudan uygulanabilir değillerdir. Bahsedilen yöntemlerin ISAR verisi üzerinde kullanılabilmesi için ön işlem gerekmetedir. Bahsedilen düşük rank yöntemlerine ek olarak, kısıtlı optimizasyon problemleri için kullanılan ALM yöntemi bulunmaktadır. ALM yöntemi de veri kurtarma işlemi için uygulanabilir. ALM yöntemiyle önerilen algoritmada hedeflenen problem dışbükey optimizasyon problemi olması sebebiyle, bu tarz optimizasyon problemlerine genelde inatçı problemler denir ve çözümü zaman almaktadır. Bunun yerine yaklaşık hesaplama ile ideal sonucu verecek değerler daha hızlı bir şekilde hesaplanmaya çalışır. Algoritmada yer alan parametrelerin çözümü işlemi bir tolerans değeri altında kesin olmayacak bir biçimde hesaplandığından IALM yöntemi önerilmiştir. Diğer yöntemlerden farklı olarak IALM yöntemi karmaşık veriye doğrudan uygulanabilir. Bu özelliği sebebiyle diğer düşük rank yöntemleri gibi ön işlem gerektirmeden karmaşık TYAR verisi için kullanılabilmektedir. Son zamanlarda, gerçek değerli görüntüler için derin öğrenme tabanlı eksik veri tamamlama yöntemleri oldukça yaygınlaşmıştır. Derin öğrenme tabanlı yöntemler genellikle yüksek miktarda veri seti gerektirmektedir. Bu tarz veri setlerinde bozulmaya uğramış görüntüler giriş, orijinal görüntüler ise hedef olarak yer almaktadır. Bahsedilen şekilde oluşturulan veri setlerinin derin öğrenme tabanlı yöntemler tarafından kullanılmasıyla görüntü tamamlama, gürültü giderme ve çözünürlük arttırma işlemlerini gerçekleştirebilen derin öğrenme modelleri eğitilebilmektedir. TYAR görüntüleri için de derin öğrenme tabanlı yöntemlerle gerçekleştirilmiş çalışmalar bulunmaktadır. Daha önceden de ifade edildiği gibi TYAR görüntüleri, klasik RD algoritması ile elde edilir. TYAR görüntüleme için kullanılan derin öğrenme tabanlı yöntemler, karmaşık değerli ham TYAR verisi yerine TYAR verisine uygulanan ters Fourier işleminin mutlak değer sonucunu kullanarak çalışmaktadırlar böylece veriye ait sanal kısım ihmal edilmektedir. Bu çalışmada, yeni bir derin öğrenme tabanlı TYAR veri kurtarma yöntemi önerilmektedir. Mevcut yöntemlerden farklı olarak önerilen yöntemde RD görüntüsü yerine karmaşık TYAR verisi kullanılmaktadır. Önerilen yöntemde, eğitim gerektirmeyen ve DIP olarak adlandırılan derin öğrenme modeli kullanılmaktadır. DIP doğrudan bozulmaya uğramış bir veri üzerinde iteratif olarak çalışabilmektedir. TYAR verisi kurtarma işlemi için, karmaşık veri gerçek ve sanal kısımlarına ayrılarak ayrı biçimde ve sıralı olarak DIP tarafından işlenmiştir. Ayırma işlemine ek olarak gerçek ve sanal kısımlara ait değerler normalize edildikten sonra derin öğrenme ağına beslenmiştir. Normalize işlemi sırasında verinin en küçük değeri 0'a eşit olacak şekilde bir sabit değerle kaydırma işlemi ve maksimum değeri 1'e eşit olacak şekilde sabit bir değerle bölme işlemi uygulanmıştır. Normalize işlemi sırasında kullanılan parametreler her görüntü için saklanarak derin öğrenme modelinin sonucunda bahse konu parametreler kullanılarak sonuca ters normalizasyon işlemi uygulanmıştır. Bu yöntemle, çıkışta verinin giriş sırasında sahip olduğu değerlere ulaşması sağlanır. Sonuç olarak elde edilen veriye görüntüleme işlemi için ters Fourier işlemi uygulanacağı için veriye uygulanan işlemlerin ters Fourier işlemi öncesinde geri alınması gerekmektedir. Bu yolla eksik TYAR verisi, eğitim gerektirmeksizin derin öğrenme tabanlı bir yöntemle tamamlanmıştır. Önerilen yöntemin geçerliliğini kontrol etmek için IALM, 2D-SL0 ve NNM yöntemleri karşılaştırma yöntemi kullanılmıştır. NNM yöntemi de normal koşullarda gerçek veri ile çalıştığından önerilen yöntemde gerçekleştirildiği gibi gerçek ve sanal kısım ayırma, normalizasyon ve denormalizasyon işlemleri NNM için de uygulanmıştır. Önerilen yöntemin genellenebilirliğini ve sağlamlığını ölçmek için, iki adet simüle ve bir adet gerçek TYAR verisi piksel bazlı, her sütunda eşit rastgele kayıp, sütun bazlı ve sıkıştırma olarak adlandırılan dört farklı eksik veri durumunda test edilmiştir. Bütün eksik veri durumları için %30, %50 ve %70 olmak üzere üç farklı eksik veri oranı kullanılmıştır. Gerçekleştirilen testlerde her bir durum için görsel sonuçlara ek olarak; Kök Ortalama Kare Hatası, Korelasyon ve Görüntü Kontrastı metrikleri için nümerik sonuçlar elde edilmiştir. Sonuçlar hem görsel olarak hem de nümerik olarak önerilen yöntemin karşılaştırma yöntemlerinden daha iyi çalıştığını göstermektedir.

Özet (Çeviri)

Radio detection and ranging or Radar as an abbreviation form, is a system that aims to detect the location, shape, and speed of objects that are named as targets. Earlier Radar systems were used for high level applications such as defence systems, airplanes, air surveillance and traffic control, etc. Later, it took place in daily life applications like smart cars, smart home devices, vital sign detection and a lot more to satisfy the needs of human life. Basically, radar sends electromagnetic waves from its transmitter and these waves reflect from the surface of objects, then the receiver of the radar collects these backscattered signals to process. Such a basic way, target speed and range can be extracted by applying 1-D signal processing on backscattered waves. Apart from the 1-D application, 2-D radar signal processing can extract the target shape on cross-range domain. In order to generate a radar image, electromagnetic waves, which are in different frequencies are sent to target and target is observed from different angles. Frequency sweeping can be done by some well known methods like stepped frequency or linear frequency modulation, thus the signals that have variable frequency can be generated by the same antenna. For moving targets, inverse synthetic aperture is used, which uses the relative motion of the target to use it as an observation angle. Synthetic Aperture Radar (SAR) is the case when radar is moving and the target is stationary whereas in Inverse Synthetic Aperture Radar (ISAR), radar is stationary and target is moving. As previously noted, such a manipulation on relative speed is used to generate ISAR/SAR data and polar format algorithm is used for Polar to Cartesian Coordinates conversion. Later 2D inverse Fourier transform can be applied to raw data to extract a radar image, which is also named as the Range Doppler (RD) image of the target. Besides good imaging performance capability, various challenges have to be handled in ISAR imaging. Some serious problems may arise during measurements that are challenging and this phenomenon affects the quality of the ISAR image. One of the well known problems is missing data case. Undesirable interference, an external jamming signal, beam blockage, or some other technical problem may lead to the missing data when receiving backscattered electromagnetic waves that are reflected from the target. There is also Compressive Sensing (CS) method that aims to generate radar images with less samples. For both cases, the conventional RD imaging method will perform poor imaging result. Missing data is a common problem for many radar related fields. In order to overcome missing data problem 1-D signal reconstruction algorithms are proposed such as Matching Pursuit (MP) and Basis Pursuit (BP). These approaches represent signals with dictionaries instead of conventional Fourier based superpositioned sinusoids. Although they are useful, 1-D reconstruction algorithms can not be applied directly to the 2-D signals, thus, Kronocker product based solutions are proposed to reconstruct 2-D signals with 1-D reconstruction algorithms. Such a process has a high computational cost in addition to the excessive memory requirement, so that 2-D sparse signal reconstruction algorithms are proposed. 2-D Smoothed L0 norm (2-D SL0) is the 2-D form of the 1-D Smoothed L0 norm sparse signal reconstruction algorithm and it proposed to reconstruct 2-D signal with low computational cost and low memory requirement by comparing to the 1-D signal reconstruction methods. Many successful studies have been done with the proposed 2-D SL0. There are also other methods available which are proposed to recover missing entries by exploiting the low rank feature of the matrix. Go Decomposition (GoDec), Low Rank Matrix Fitting (LMAFIT) and Nuclear Norm Minimization (NNM) are used to recover missing data on many applications that are focused on real data, so these are also not directly applicable to the ISAR raw data. There is also the Augmented Lagrangian Multiplier (ALM) for constrained optimization problems. ALM can also be applied to matrix completion problems, but primal variables of the algorithm can only be solved inexactly; thus, Inexact Augmented Lagrangian Multiplier (IALM) is proposed for matrix completion. Apart from the well known matrix completion methods, it can be directly applied to the complex data. Recently, deep learning based approaches are quite famous to recover missing parts of real images. Deep learning based approaches usually require a high amount of training data that contains corrupted images as input and original images as target to train deep convolutional neural networks to achieve tasks such as denoising, inpainting, and super-resolution. Previously, some studies trained deep networks to do such tasks on ISAR images. As it was mentioned before, the ISAR image is generated by the traditional RD algorithm. Deep learning based approaches use the amplitude of the 2-D IFFT result so that they neglect the imaginary part of 2-D IFFT result. In this study, a novel deep learning based ISAR data reconstruction method is proposed. Unlike existing studies, the proposed model uses complex data instead of the conventional RD image. Deep Image Prior (DIP) is used as a deep learning model that does not require a pre-training process to complete missing cases on input data. DIP directly can perform iteratively on single occluded data thanks to its hand crafted prior feature. In order to reconstruct ISAR raw data, the occluded matrix is separated into its real and imaginary parts, and missing entries in the backscattered field matrix are completed sequentially and separately. Thus, ISAR raw data construction is done by a deep learning model that does not need pre-training. In order to check the validity and robustness of the proposed model, three different comparison methods are used, such as IALM, 2-D SL0 and NNM. NNM performs on real data normally so that same separation process applied to raw ISAR data for NNM. In the experimental results, two simulated and one real ISAR data are tested under four different missing scenarios such as pixel-wise, equal random missing in each column, column-wise and compression cases. For all four missing scenarios, three different missing ratios are applied to the test data, like %30, %50 and %70, respectively. The results show that the proposed method outperforms existing ones both visually and quantitatively.

Benzer Tezler

  1. Tez No

    769837

    Derin öğrenme ile süper çözünürlüklü radar görüntüleme

    Super resolution radar imaging with deep learning

    İREM FADİME ERİM

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik-Haberleşme Eğitimi Ana Bilim Dalı

    PROF. DR. IŞIN ERER

  2. Tez No

    866228

    Joint calibration and reconstruction for focal plane array imaging

    Odak düzlemi dizisi görüntüleme için birleşik kalibrasyon ve geriçatım

    MUHAMMET UMUT BAHÇECİ

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. ENDER METE EKŞİOĞLU

  3. Tez No

    143111

    Analysis of the crustal deformation caused by the 1999 Izmıt Düzce earthquakes using synthetic alperture radar interferomentry

    1999 İzmit ve Düzce depremlerinin neden olduğu kabuk deformasyonunun sentetikaçıklık radar interferometrisi ile incelenmesi

    ZİYADİN ÇAKIR

    Doktora

    İngilizce

    İngilizce

    2003

    Jeoloji Mühendisliğiİstanbul Teknik Üniversitesi

    Jeoloji Mühendisliği Ana Bilim Dalı

    DOÇ. DR. SERDAR AKYÜZ

  4. Tez No

    768837

    Deep learning-based building segmentation using high-resolution aerial images

    Yüksek çözünürlüklü hava görüntüleri kullanarak derin öğrenme temelli bina bölütlemesi

    BATUHAN SARITÜRK

    Doktora

    İngilizce

    İngilizce

    2022

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    Geomatik Mühendisliği Ana Bilim Dalı

    PROF. DR. DURSUN ZAFER ŞEKER

  5. Tez No

    894770

    Termal görüntülere derin öğrenme tabanlı süper çözünürlük yöntemlerinin uygulanması

    Application of deep learning based super resolution in thermal images

    CANER CİVE

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. ENDER METE EKŞİOĞLU

Geri Dön