NOISE REMOVAL OF THERMAL IMAGES USING DEEP LEARNING APPROACH
TERMAL GÖRÜNTÜLERDE DERİN ÖĞRENME YAKLAŞIMIYLA GÜRÜLTÜ GİDERME
- Tez No: 633653
- Danışmanlar: DOÇ. DR. BEHÇET UĞUR TÖREYİN
- Tez Türü: Yüksek Lisans
- Konular: Savunma ve Savunma Teknolojileri, Elektrik ve Elektronik Mühendisliği, Mühendislik Bilimleri, Defense and Defense Technologies, Electrical and Electronics Engineering, Engineering Sciences
- Anahtar Kelimeler: Kızılötesi kameralar, Termal kamera, Infrared cameras, Thermal camera
- Yıl: 2020
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Günümüzde, termal kameralar medikal, askeri, gözetleme, astronomi, yangın tespiti gibi birçok farklı endüstride yaygın bir şekilde kullanılmaktadır. Tüm nesneler, canlı ve cansız varlıklar 0 Kelvin yani -273 Santigrad Derece'den sıcaksa, elektromanyetik spektrumda kızılötesi enerji yayar. Termal kameralar bu elektromanyetik spektrumdaki kızılötesi enerjiyi bir elektronik görüntüye dönüştürür. Artık cep telefonu gibi aletlerin olmazsa olmazı olan gündüz renkli kameralardan (Day Color Cam) farkı, görünür ışığa ihtiyaç duymamasıdır. Normalde bizim de nesneleri görmemiz bir ışık kaynağından çıkan ışının nesneye çarpıp gözümüze ulaşmasıyla olur. Termal görüntülemede nesne doğrudan kızılötesi enerji yayar. Böylece gece ve gündüzden bağımsız olarak her zaman görüntüleme yapılabilir. Termal kameralar ihtiyaca ve kullanım alanına göre farklılaşabilmektedir. Genelde termal kameranın tipi sensör teknolojisiyle belirlenir. Termal kameralar soğutmalı veya soğutmasız sensörlerden oluşabilmektedir. Termal kameraların hayati parçası olan bu sensörler, termal dizi dedektörü veya diğer adıyla kızılötesi düzlem dizisi (IRFPA) olarak adlandırılır. Aynı sinyal akısı ile aydınlatıldığında dizi içerisinde her dedektörün foto cevabı birbirlerinden farklı olabilir. Böylece IRFPA'de tek-düzeli olmayan bir cevap oluşur. Bu tek-düzeli olmayan cevap doğrudan görüntü kalitesine etki eder. Sonuç olarak gürültülü bir görüntü oluşur. Termal sensörlerde oluşan gürültü farklı farklıdır. Ama bu gürültü, düzgün bir termal görüntüleme oluşturabilmek adına mutlaka düzeltilmelidir. Ayrıca her bir dedektörün cevabı zamanla, yavaşça değişebilmektedir. Bu değişiklikler tekrar düzeltme gerektirir. Bunun için, fabrika seviyesi yapılan düzeltme yeterli olmayacak, kullanım esnasında bozulmaya bağlı olarak tekrar düzeltme yapılması gerekir. Bu düzeltmelerin genel adına tek-düzelilik düzeltmesi (Non-uniformity correction (NUC)) denir. NUC yöntemleri genel olarak ikiye ayrılır. Bunlar kalibrasyon temelli yöntemler ve sahne temelli yöntemlerdir. Kalibrasyon temelli yöntemlerde termal kamera sabit sıcaklıkta olan yani tekdüze ışınım yapan bir yüzey önüne yerleştirilir. Böylece dizi içerisinde farklı foto cevaplarına sahip dedektörlerin aynı yayınım altındaki tepkileri değerlendirilir. Kalibrasyon temelli yöntemlerin handikapı, düzeltme esnasında tekdüze bir kaynağa baktığı için kameranın bu esnada“kör”olmasıdır. Kalibrasyon temelli yöntemlerden sonra, sahne temelli yöntemler çalışılmaya başlanmıştır. Sahne temelli yöntemler sahne bilgileri ve istatistiğini temel alarak bu bilgilerden faydalanıp farklı foto cevaplarına sahip dedektörlerin tepkisini anlamaya çalışır. Böylece bir kalibrasyon kaynağına ihtiyaç duymadığı gibi operasyonu durdurmadan sürekli düzeltme yapabilir. Sahne temelli yöntemlerin de bazı handikapları vardır. Bu handikaplara, farklı foto cevaplarına sahip dedektörlerin tepkisini anlamak için uzun süre gözlem yapma gerekliliği, istatistiki olarak her dedektörün bütün spektrumdaki ışınımı gördüğünü varsayması gibi örnekler verilebilir. Ayrıca gerçek-zamanlı olarak bir donanım üzerinde gerçeklenebilirliği getirdiği işlem yükünden ötürü sorgulanmıştır. Son yıllarda, Derin Öğrenme'nin gelişimiyle Evrişimsel Sinir Ağları modelleri genel olarak gürültü gidermede özel olarak da tek-düzelilik düzeltmesinde de kullanılır hale gelmiştir. Kalibrasyon ve sahne temelli yöntemlere kıyasla, derin öğrenme yöntemi kullanıcı açısından daha basittir. Bu çalışmanın asıl amaçlarından biri, savunma alanında kullanılan termal kameralarda kalibrasyon ve sahne temelli tek-düzelilik düzeltmesinin sisteme getirdiği bazı handikapları elimine etmektir. Örneğin; alan gözetlemesi yapılırken düzeltme için tekdüze bir kaynağa bakılarak kameranın belirli bir süre için kullanılmaz hale getirilmesi iyi değildir. Soğutmalı termal sensörler için kalibrasyon temelli yaklaşımlar yerine böylece sahne temelli yaklaşımlar geliştirilmiştir. Sahne temelli yaklaşımlar ise getirdiği büyük işlem yükü ve görüntüde bozulmalara yol açması nedeniyle çok kullanılabilir değildir. Soğutmasız termal sensörler de ise, kalibrasyon temelli yaklaşımlar soğutmalı termal sensörlere göre daha basittir. Tekdüze ışınım yapan kaynak için, sensörün önüne inip kalkan kapak tipi bir yapıdan bahsedilebilir. Bu kapak tek-düzelilik düzeltmesi yapılacağı zaman iner ve böylece kalibrasyon için tekdüze kaynak oluşturulmuş olur. Ama bu mekanizma inip kalkarken ses çıkarır, bu ses operasyonel kullanımda istenilmez. Ayrıca soğutmalı termal sensörlerde olduğu gibi kamera belirli bir süre için kullanılmaz halde olur. Diğer yöntemlere göre daha az handikapı olan (belki de tek handikapı işlem yükü) derin öğrenme temelli yaklaşımlar baz alınarak gerçek bir sistemde gerçeklenebilirliği irdelenmiştir. Bu tez kapsamında, çeşitli derin öğrenme modellerinin tek-düzelilik düzeltmesindeki başarısı incelenmiş ve performans yönünden karşılaştırılması yapılmıştır. Çeşitli evrişimsel sinir katmanlarının ve parametrelerin düzeltmeye etkisi çalışılmıştır. Modelleri eğitmek için farklı termal cihazlardan veri setleri oluşturulmuştur. Ayrıca test için test setleri ve doğrulama için doğrulama setleri oluşturulmuştur. Modeller eğitilmiş ve çıktılar PSNR ve SSIM metrikleri cinsinden ölçülmüştür. Veri setleri düzeltilmeye ihtiyacı olan video çerçevelerinden ve düzeltilmiş hallerinden oluşmaktadır. Cihazlardan alınan gerçek bozulmuş görüntüler veri setlerinde kullanıldığı gibi tek-düzelilik düzeltmesine ihtiyacı olan zamanla bozulmuş görüntüler incelenmiş ve histogramları çıkarılmıştır. Bu histogramların benzediği normal dağılımlı gürültüler (Gauss ve Laplace) düzgün görüntülere eklenerek yapay bozulmuş veri setleri de oluşturulmuştur. Genel olarak aynı sahnenin düzeltilmeye ihtiyacı olan video çerçevesi girdi ve düzeltilen video çerçevesi etiket olarak çiftlendirilmiştir. Böylece modelin gürültüyü öğrenmesi, daha sonra da modele bozuk bir görüntü çerçevesi geldiğinde bunu düzeltmesi beklenmiştir. Modeller, hem hiç işlenmemiş sensör görüntüsü hem de zamanla bozulmuş görüntüleri eğitmiştir. Hiç işlenmemiş, yani ham sensör çıkışından görüntüler alınmış bu görüntülerin etiketi olacak şekilde de kötü/ölü piksellerinden arındırılmış, normalize edilmiş, görüntü optimizasyonu yapılmış görüntüler, dolayısıyla veri setleri oluşturulmuştur. Bu veri setleri modellerde eğitilerek, termal kamerada ham dedektör çıkışından son görüntüye kadar olan bütün aşamalar tek seferde gerçeklenebildiği gösterilmiştir. Yani ham dedektör çıkışından sırasıyla, normalizasyon daha sonra kötü/ölü piksel düzeltimi daha sonra da görüntü optimizasyonu tek bir veri seti eğitilerek gerçeklenmiştir. Zamanla bozulmuş görüntüler ve bunların etiketi olan düzeltilmiş görüntüler de, tek-düzelilik düzeltmesine uygun şekilde başka bir veri seti haline getirilmiştir. Sonuçlar kıyaslanarak efektif bir algoritma tasarımıyla cihaz üzerinde uygulanabilirliği düşünülmüştür. Bu çalışmada tamamen termal veri setleri kullanılmıştır. Diğer çalışmalardan farkı, eğitim aşamasında da cihazdan alınmış yapay olmayan gerçek bozulmaya uğramış termal görüntünün kullanılmasıdır. Ayrıca hem ham görüntüyü son aşamaya kadar öğretecek şekilde modeller ve veri setleri oluşutulmuş, hem de tek düzelilik düzeltmesini yapacak şekilde modeller ve veri setleri oluşturulmuştur. Sonuç olarak, öğrenme temelli uygulamalar termal görüntü düzeltmesi için faydalıdır. Eğitim fazı, çevrimdışı olacak şekilde sadece model katsayıları donanımda olduğunda gerçek-zamanlı olmadan arka planda çalışacak şekilde cihaz üzerinde çalışabilirliği gösterilmiştir. Öğrenme fazının da cihaz üzerinde gerçeklenmesi düşünülürse bu çok efektif değildir. Bunun için güçlü bir GPU'ya ihtiyaç duyulur. Elbette paralel işlem bakımından FPGA de bu iş için uygundur. Ama modeller, dolayısıyla bütün katmanların FPGA'de gerçeklenme ihtiyacı bulunmaktadır. Öğrenme temelli uygulamaların faydası düşünülürse donanım açısından geliştirme düşünülebilir.
Özet (Çeviri)
Thermal array detectors, in another name infrared focal plane arrays (IRFPA), are used in a wide range of industry such as medical, military, surveillance, astronomy, fire detection etc. Each photoresponse of detectors' in the array, may perform well alone, but array's performance is not good as a detectors' photoresponse (detector to detector variation in the IRFPA). Because, every detector/pixel in the array has unequal responses when illuminated by the same signal flux. Thus, non-uniformity is occured in IRFPA. Performance of IRFPA is highly affected by this spatial non-uniformity. This non-uniformity, sometimes known as fixed pattern noise (FPN), degrades imaging quality. The causes of the non-uniformity include product quality of IRFPA, thermal regulation (temperature of the IRFPA should be constant over a period of time), electronic noise ( a.k.a 1/f noise) and optics (optics can generate non uniformity in the illumination of the IRFPA). The non-uniformity should be corrected by various algorithms/methods which is known as non-uniformity correction (NUC), in order to get more clean/glorified infrared images. Also, response of each detector/pixel drifts slow and random over time due to external conditions such as transistor bias voltage and surrounding temperature variation. That's why, one time or single fabric correction in the array is not enough. NUC methods are generally divided into two main groups, calibration-based and scene-based. The goal of NUC procedure is that all detectors/pixels must give the same reaction under the same illumination. Calibration-based NUC methods generally use an uniform radiation source as black-body radiation source. For this, with the same irradiance along IRFPA using black-body, the response of pixels with different digital level is tried to be learned. Calibration-based NUC requires stopping the normal operation (e.g. surveillance) and doing calibration with flat-uniform surface (black-body) positioned in front of the camera for the duration of calibration. The camera will be blind during this time. Due to the impracticality, a significant number of research has focused on using the scene's information for NUC operation. This method, called Scene-based NUC, does not require a calibration target such as black-body, it also does not require halting normal operation. Scene-based methods have handicaps too such as low convergence speed or being computationally heavy. In recent years, with the developments of Deep Learning, CNN (Convolutional Neural Network) models started to be used for the denoising especially NUC methods. One of the main objectives of this study is to overcome the operational constraints brought by classical methods to the system. For example; it is not good for the system to be blind for a certain period of time during surveillance. For cooled thermal sensors, scene-based approaches have been developed instead of calibration-based approaches. But scene-based approaches produce ghosting artifacts because of the need of movement. On the other hand, on the uncooled thermal sensors, calibration based approaches are simpler compared to cooled thermal sensors. For uniform radiation source, shutter mechanism can be used. This shutter closes when NUC is required. But this mechanism makes an unwanted noise when used in a special operation. In this thesis, the success of various deep learning models in NUC is examined and compared in terms of performance. Effects of CNN layers and parameters on correction have been studied. Various thermal datasets have been created to train models. Then, the outputs are compared in SSIM and PSNR. These datasets include corrupted frames and their corrected as desired. The Models, trained both raw sensor images and corrupted images. These datasets have been trained in models and it has been shown that all stages from the raw detector output to the final image can be performed at once in the thermal camera. In this thesis, all datasets consist of thermal images. The difference of this study from other studies is that the non-artificial, real corrupted thermal image taken from the device during the training phase is also used. In addition, models and datasets were created to teach the raw image to the last stage, and models and datasets were created to make NUC. As a result, learning-based applications are useful for thermal image correction. It has been shown that if the training phase is offline, with only the model coefficients on the hardware, the device can be run in the background without real-time operation.
Benzer Tezler
- Görüntülerde FPGA Tabanlı Gürültü Giderimi
FPGA-Based Noise Removal On Images
SALİH ESER
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik MühendisliğiGazi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HASAN ŞAKİR BİLGE
- Elmalı ve Alibey su havzalarının uydu görüntü verileriyle izlenmesi ve bilgi sistemi oluşturma olanakları
Başlık çevirisi yok
ÇİĞDEM GÖKSEL
- Model-based active control of compact vapor compression cycle for electronics cooling with transient heat-flux removal
Zamana bağlı ısı akısı giderimi ile elektronik soğutma uygulamaları için kompakt buhar sıkıştırmalı soğutma çevriminin model tabanlı aktif kontrolü
TAYFUN ERKINACI
Doktora
İngilizce
2024
Makine MühendisliğiGebze Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ RECEP ÖNLER
DOÇ. DR. MUSTAFA FAZIL SERİNCAN
- Design and characterization of a single layer uncooled microbolometer detector pixel
Tek katlı bir soğutmasız kızılötesi dedektör pikselinin tasarım ve karakterizasyonu
ÇİĞDEM YILDIZAK
Yüksek Lisans
İngilizce
2019
Elektrik ve Elektronik MühendisliğiAdana Bilim ve Teknoloji ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. MAHMUD YUSUF TANRIKULU
- Ameliyathane havalandırma sistemi tasarımı ve HAD yöntemi ile hava akış analizi
Air conditioning system designing of an operating room and air flow analysis using the CFD technique
MUHAMMED GALİP ÖZER
Yüksek Lisans
Türkçe
2019
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. LÜTFULLAH KUDDUSİ