Missing data recovery in GPR with deep learning
Derin öğrenme ile GPR görüntülerinde veri kurtarma
- Tez No: 684179
- Danışmanlar: DOÇ. DR. IŞIN ERER
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Telekomünikasyon Mühendisliği Bilim Dalı
- Sayfa Sayısı: 96
Özet
Yere Nüfuz Eden Radar (YNR), gömülü hedeflerin algılanmasında kullanılan ve radara dayalı bir prensiple çalışan bir ölçüm yöntemidir. Radarın kullanılması sebebiyle ölçümün yapıldığı malzeme üzerinde herhangi bir tahribat yaratmaz ve bu sebeple uygulama alanları oldukça esneklik gösterir. Temelinde, vericiden gönderilen bir sinyalin alıcı yardımıyla toplanması yöntemiyle çalışır. Ayrıca alıcıda toplanan radar sinyalinin kaydedilmesi için bir kontrol ünitesi içerir. Belirli bir zemine ya da yapıya yönlendirilen bu sinyaller, yüzeyin altında kalan ve dışarıdan görülmesi mümkün olmayan nesnelerin tespitinin ve haritalamasının yapılması için kullanılır. Evrende yer alan tüm nesnelerin bir elektriksel geçirgenlik seviyeleri vardır ve YNR, farklı nesnelerin birbirinden farklı elektriksel geçirgenlik seviyelerinin olmasından yararlanır. Herhangi bir zeminin altında gömülü olan bir nesnenin, gömülü olduğu ortama göre göreceli bir elektriksel geçirgenlik değerine sahip olması durumunda, alıcı tarafında toplanan radar sinyalleri belirli bir örüntü oluşturacaktır. Bunun sebebi, nesneye ve nesnenin bulunduğu zemine çarpıp, alıcıya geri yansıyan radar sinyallerinin, göreceli elektriksel geçirgenliğe paralel olarak farklılık gösterecek olmasıdır. Bir zemini dolaşan YNR, zeminde bulunan gömülü nesneye denk gelecek radar sinyallerini göndermeye başladığı anda YNR'nin kontrol ünitesinde, bu nesneyi sembolize edecek şekilde hiperbol desenler oluşur. Ayrıca herhangi bir malzeme türüne bağlı olmaması, YNR'nin uygulanabilirlik anlamında oldukça avantajlı bir noktada konumlanmasını sağlar. Sonuç olarak bir nesnesin, gömülü olduğu alandan farklı bir elektriksel geçirgenliğe sahip olmasıyla durumunda, nesnenin tespiti mümkün hale gelebilir. Ayrıca bu ölçümler için nesne üzerinde herhangi bir tahribat yapılmasının gerekli olmayışı, YNR yöntemini alternatiflerine göre tercih edilmek konusunda avantaj sağlar. Bu avantajlarının yanı sıra, YNR yönteminde radar verilerinin düzgün toplanılabilmesi konusunda sorunlar yaşanmaktadır. Bu sorunlar, yöntemin tercih edilmesi ve uygulanabilmesi konusunda dezavantajlar yaratmaktadır.Bu sorunlar, veri toplanması esnasında yaşanabilecek herhangi bir teknik aksaklık, bazı alanlara fiziksel erişimin kısıtlı olması ya da tarama çözünürlüğü olarak sıralanabilir.Bu sebeple literatürde eksik YNR verilerini kurtarmak için birçok farklı metot önerilmiştir. Bu metotların birçoğu, YNR verisini bir matris olarak ele alır ve matrisler üzerinde eksik olan değerlerin, var olan değerler kullanılarak elde edilmesine dayanırlar. Farklı bir deyişle matris tamamlama olarak literatürde yer edinmiş bu metot üzerine, yine literatürde yer edinmiş birçok matematiksel yaklaşım sunulmuştur. Konvansiyonel yöntemler olarak değerlendirilebilecek bu yöntemlerin yanı sıra, günümüzde bilgisayarların işlem kapasitelerinin artması ile beraber birçok farklı uygulamaya adapte edilen derin öğrenme tabanlı yöntemler de gittikçe literatürde yerlerini sağlamlaştırmaktadır. Görüntü işleme alanında, iç boyama olarak da bilinen ve derin öğrenmeye dayalı bir çok farklı mimari ile gerçekleştirilen bu işlem, bozulmuş ya da eksik kısımları olan bir görüntünün orjinaline benzerlik gösterecek şekilde onarılması işlemidir. Literatürde birçok uygulamada iç boyama işlemi AutoEncoder ya da Çekişmeli Üretken Ağ mimarileri kullanılarak geliştirilmiştir. Alternatif olarak orjinalinde nesne tanımlaması üzerine tasarlanan U-Net mimarisi de ayrıca iç boyama işlemine başarılı bir şekilde adapte edilebilmiştir. Tezin ilk kısmında, literatürde önerilen konvansiyonel eksik veri kurtarma yöntemleri üzerine yapılan çalışmaların kapsamlı bir listesi sunulmuştur. Eksik verinin bir matris olarak ele alındığı ve buna yönelik matris tamamlama üzerine farklı algoritmalar sunan metotların büyük bir kısmı hakkında bilgi verilmiştir. Ardından kronolojik bir sıraya uygun olarak, eksik veri kurtarma üzerine derin öğrenme tabanlı olarak yapılan çalışmalar aktarılmıştır. Tezin ikinci ve üçüncü kısımlarında, hem konvansiyonel hem de derin öğrenme tabalı yöntemler, uygulandıkları algoritmalarla beraber özetlenmiştir. Tezin dördüncü kısmında yürütülen çalışmaların tamamı kapsamlı bir şekilde aktarılmıştır ve bulgular tezin son kısmında sunulmuştur. Bu tezde, simülasyon ile oluşturulmuş YNR verileri ve gerçek hayattan alınmış farklı YNR verileri üzerine, farklı eksiltme teknikleri uygulanmıştır ve yapay olarak eksiltme uygulanan veriler üzerinde hem konvansiyonel hem de derin öğrenme tabanlı eksik veri kurtarma teknikleri denenmiştir. İlk aşamada hem simüle hem de gerçek YNR verileri üzerinde piksel ve sütun bazlı rastsal eksiltmeler yapılmıştır. Bu eksiltmeler simüle verinin tamamına oranla birbirinden farklı dört seviyede, %10, %30, %50, ve %80, gerçekleştirilmiştir. Buna ek olarak, simüle veri üzerinde belirli kalınlıkta sütunlar blok halinde eksiltilmiştir. Bu senaryoların her biri için, GoDec, NNM, LmaFit ve NMC yöntemleri kullanılarak eksik veri kurtarma işlemi gerçekleştirilmiştir. Literatürde matris tamamlama yöntemleri olarak geçen bu yaklaşımların sonuçları farklı metriklerle beraber listelenmiştir. Bu yöntemlerin yanı sıra, derin öğrenme tabanlı eksik veri kurtarma yöntemleri de her bir senaryo üzerinde çalıştırılmıştır. Derin öğrenme tabanlı olarak Generative Inpainting, PEN-Net ve Deep Image Prior yöntemleri kullanılmıştır, ve her bir yöntem ile elde edilen sonuçlar da kıyaslamalı olarak listelenmiştir. Bu üç yöntem arasından PEN-Net ve Deep Image Prior yöntemleri başarılı sonuç vermiş, ancak Generative Inpainting yöntemi belirlenen bir eğitim aralığında yeterli bir sonuç üretememiştir. Gerçek veri üzerinde ise iki farklı seviyede, %30 ve %80, piksel ve sütun bazlı rastsal eksiltmeler yapılmıştır. Bu eksik görüntüler üzerinde de konvansiyonel veri kurtarma yöntemlerinden GoDec, NNM, LmaFit ve NMC yöntemleri kullanılmıştır. Ve simüle veri üzerindeki başarısı göz önünde bulundurulduğunda, gerçek veri üzerinde derin öğrenme tabanlı veri kurtarma yöntemlerinden olan Deep Image Prior yönteminden faydalanılmıştır. Bu analizlerin yanı sıra derin öğrenme tabanlı veri kurtarma yöntemleri ile tamamlanan YNR verilerinin, işlem başarısının test edilmesi için, YNR verilerinde nesne tespiti uygulaması yapılmıştır. Aynı uygulama, orjinal YNR verileri ile de gerçekleştirilmiş, ve iki uygulamanın da uygun metriklerle kıyaslamalı sonuçları sunulmuştur. Ayrıca literatürde derin öğrenme tabanlı YNR verilerine yönelik önerilen veri kurtarma işlemleri üzerine kıyaslamalar sunulmuştur. Bu tezde, elde edilen sonuçlarla beraber, YNR verileri üzerinde veri kurtarma işlemine uygun iki farklı derin öğrenme tabanlı yöntemler olan Generative Inpainting ve PEN-Net yöntemleri önerilmiştir. Derin öğrenme tabanlı veri kurtarma işlemi ile görüntüde anlamsal detayların sınır değerlerde bile başarılı bir şekilde yakalandığı ortaya koyulmuştur. Bu durumda konvansiyonel yöntemlerle kıyaslandığında, özellikle %50'nin üzerinde veri kaybının olduğu durumlarda derin öğrenme tabanlı veri kurtarma yöntemlerinin farkı ortaya çıkmaktadır. Ayrıca bir derin öğrenme tabanlı veri kurtarma yöntemi olan Deep Image Prior yöntemi üzerine oluşturulan veri hattı ile, hem simüle hem de gerçek veriler üzerinde bu yöntemin başarısı nümerik ve görsel sonuçlarla beraber gösterilmiştir. Toplamda simüle veri üzerinde 4 farklı seviyede hem piksel hem de sütun bazlı eksiltme senaryoları değerendirilmiştir. Buna ek olarak simüle veri üzerinde blok halinde sütun kalınlığında veri parçası silinmiş ve kalan veri üzerinde eksik veri kurtarma işlemi yapılmıştır. Tezde önerilen derin öğrenme tabanlı veri kurtarma işleminin başarısının doğrulanması amacıyla simüle veri üzerinde nesne tanıımlama ileri işlemi uygulanmıştır. Bu uygulamada herhangi bir işlemin uygulanmadığı simüle veri ile kıyaslanmıştır. Ayrıca simüle YNR verileri üzerinde yapılan tahliller sonucu başarısı doğrulanan derin öğrenme tabanlı eksik veri kurtarma yöntemi, gerçek YNR verileri üzerinde de değerlendirilmiştir. Bu değerlendirme konvansiyonel eksik veri kurtarma yöntemleriyle de kıyaslamalı olarak verilmiştir.
Özet (Çeviri)
Ground Penetrating Radar (GPR) is a measurement device used for detecting buried targets and its fundamental function relies on radar-based principle. Basically, it works by collecting a radar signal at the receiver that is sent from a transmitter. It also contains a control unit for recording the radar signal collected at the receiver. These signals, directed to a particular area or field, are used to detect objects buried under the surface and cannot be seen from the outside and convert this detection into visual interpretations. Considering all objects in the universe have a permeability level, GPR takes advantage of the fact that it causes a difference in measured permeability levels. If an object buried underground has a relative permeability concerning the environment in which the object is buried, the radar signals collected at the receiver side would present distinguishable patterns. This is because when the radar signals that cross the object and the ground where the object is located, would be collected back to the receiver would present patterns in parallel with the relative permittivity. In an instant that the GPR navigating through an area starts to send radar signals that will target the buried object on the area, hyperbola patterns are formed in the control unit of the GPR to illustrate this object. Additionally, the fact that it is independent of any material type, ensures that GPR has a great advantageous point in terms of applicability. These advantages aside, many problems may be encountered during collecting radar data properly in the GPR method. These problems may originate from different sources, such as technical glitches that may occur during data acquisition, limited physical access to some regions, or low scanning resolution. In this case, A-scans are collected corrupted or incomplete and these A-scans become inapplicable for any post-processing on the obtained data, such as clutter removal or object detection. For this reason, in the literature, various methods are proposed as missing data recovery methods on GPR data. Many of these approaches treat the GPR data as a matrix and apply different methods to recover missing values on the matrices using existing values. While these methods can be considered conventional methods, deep learning-based methods, which are adapted to many different applications with the increase in the processing capacity of computers, are gradually strengthening their place in the literature. This process is also known as image inpainting and is performed with many different deep learning architectures in the image processing domain. And image painting is the process of recovering an image with corrupted or missing parts, similar to the original. In many applications in the literature, image inpainting is developed using AutoEncoder or Generative Adversarial Network (GAN) architectures. Alternatively, the U-Net architecture, which was originally designed for object detection tasks, is successfully adapted to image inpainting. %In the first part of the thesis, a comprehensive list of studies on conventional missing data recovery methods proposed in the literature is presented. Information is given about most of the methods that treat the missing data as a matrix and offer different algorithms on matrix completion for this. Then, in chronological order, deep learning-based studies on missing data recovery are presented. In the second and third parts of the thesis, In this thesis, different missing data recovery techniques have been applied on GPR data that are generated by simulation and GPR data that are taken from real life, that both conventional and deep learning-based missing data recovery methods are applied on artificially corrupted data. In the first step, pixels or columns are removed randomly on both simulated and real GPR data. These data removals are performed at four different levels, 10%, 30%, 50%, and 80%, relative to the entire simulated data. In addition, columns of certain thickness are removed in blocks from the simulated data. For each of these scenarios, missing data recovery was performed using the GoDec, NNM, LmaFit, and NMC methods. The results of these approaches, which are referred to as matrix completion methods in the literature, are listed with different metrics. In addition to these methods, deep learning-based missing data recovery methods were also run on each scenario. Generative Inpainting, PEN-Net, and Deep Image Prior methods are applied as deep learning-based missing data recovery methods, and the results obtained with each method are listed comparatively. On the real data, pixels and columns are removed randomly at two different levels, 30% and 80%. On these artificially corrupted data, conventional missing data recovery methods, GoDec, NNM, LmaFit, and NMC, are applied. And similarly, as deep learning-based missing data recovery methods Generative Inpainting, PEN-Net and Deep Image Prior methods, Generative Inpainting, PEN-Net, and Deep Image Prior methods are applied. In this thesis, relying on the obtained results, two different deep learning-based data recovery methods are proposed for data recovery on GPR data. It has been revealed that the semantic details in the image are successfully captured even at the limit values with the deep learning-based data recovery process. In this case, when compared to conventional methods, the advantage of deep learning-based data recovery methods emerges, especially in cases where there is more than $50\%$ information loss. Additionally, with the data line created on the Deep Image Prior method, the success of this method on both simulated and real data is demonstrated with numerical and visual results. In addition to these analyzes, object detection application is carried out in GPR data to validate the success of deep learning-based missing data recovery method, which is selected as Deep Image Prior. And the comparative results of both applications with appropriate metrics are presented. In addition, comparisons between the proposed method and the deep learning-based methods are presented.
Benzer Tezler
- Yere nüfuz eden radarlarda öğrenme tabanlı yeni kargaşa giderme yöntemleri
New learning-based clutter removal methods in ground penetrating radar
EYYUP TEMLİOĞLU
Doktora
Türkçe
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. IŞIN ERER
- Kayıp veriyle baş etme yöntemlerinin madde takımlarında değişen madde fonksiyonu üzerine etkisi
The effect of missing data handling methods on differential item functioning with testlet data
RABİA AKCAN
Doktora
Türkçe
2023
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. KÜBRA ATALAY KABASAKAL
- The effects of biodegradable waste diversion on landfill gas potential in Turkey
Kentsel atık depolama sahalarına giden biyobozunur atıkların azaltılmasının Türkiye'deki çöp gazı (LFG) potansiyeline olan etkileri
HASAN SUPHİ ALTAN
Yüksek Lisans
İngilizce
2015
Çevre Mühendisliğiİstanbul Teknik ÜniversitesiÇevre Mühendisliği Ana Bilim Dalı
DOÇ. DR. OSMAN ATİLLA ARIKAN
- Çocuk vakalarına yapılan postoperatif ağrı tedavisi uygulamalarının araştırılması ve postoperatif ağrı sağaltımı etkinliğinin tartışılması
Postoperaive pain treatment investigation on pediatric patients and discussion on postoperative pain treatment efficiency
CİHAN ATASAYAR FİRET
Tıpta Uzmanlık
Türkçe
2015
Anestezi ve ReanimasyonAdnan Menderes ÜniversitesiAnesteziyoloji ve Reanimasyon Ana Bilim Dalı
PROF. DR. OSMAN NURİ AYDIN
- Kayıp veri yöntemlerinin çoklu puanlanan çok boyutlu MTK modellerinde parametre kestirimlerine etkisi
The effect of missing data methods on parameter estimation of polytomous multi-dimensional IRT models
MEHMET ALİ IŞIKOĞLU
Doktora
Türkçe
2024
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. BURCU ATAR