Geri Dön

Derin öğrenme ile görüntülerde bulanıklık giderme

Image deblurring with deep learning

PDF İndir

  1. Tez No: 952984
  2. Yazar: BURAK TÜRÜDÜ
  3. Danışmanlar: DOÇ. DR. İSA YILDIRIM
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: Türkçe
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Telekomünikasyon Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 89

Özet

Görüntüler kayıt esnasında odaklanmanın sağlanamaması, çekim anında kayıt cihazının hareket etmesi, iletim kanalındaki bozunmalar ve bunların dışında yer alan diğer zararlı faktörler sebebiyle, görüntünün yakalanması, işlenmesi ve iletilmesi gibi aşamalarda bozunmalara uğramaktadır. Bu bozunmalar görüntü üzerinde gürültü olarak ortaya çıkabileceği gibi bulanıklık şeklinde de ortaya çıkabilmektedir. Birden fazla kaynak sebebiyle oluşabilen bulanıklık görüntünün kalitesini düşürmekte ayrıntıların tespitini zorlaştırmaktadır. Görüntüler üzerindeki bulanıklığın giderilmesi çalışmaları yıllardır önemli görüntü işleme çalışmaları arasında yer almaktadır. Görüntünün bulanıklıktan temizlenerek orijinal haline en yakın hale getirilme çalışmalarına bulanıklık giderme çalışmaları adı verilmektedir. Bulanıklık oluşma sebebine göre birçok farklı dağılıma sahip olabilmektedir. Analog sinyalin dijital hale getirilmesi sırasında sinyale eklenen gürültüye ait dağılım veya görüntünün maruz kaldığı fiziksel etki bilinebilirse görüntülerdeki gürültünün ve bulanıklığın temizlenmesi sıfır hata ile mümkün olabilirdi. Ancak sinyale eklenen gürültünün veya görüntüye etki eden fiziksel etkinin sinyal üzerindeki etkisi bilinemediği için görüntülerden bulanıklığın temizlenmesi sırasında görüntülerde ayrıntı kaybı oluşmaktadır. Detay bilgisi olarak adlandırılan bu ayrıntılar görüntüdeki önemli bir ayırt edici özellik olabilir. Bu nedenle görüntülerden bulanıklığın giderilmesi işleminde bu ayrıntıların korunması istenmektedir. Bu ayrıntı bilgilerinin korunarak görüntünün orijinaline en yakın hale getirilmesi ve kalitesinin arttırılması bulanıklık giderme çalışmalarının en temel hedefidir. Genel itibarıyla, görüntülerdeki bulanıklığın giderilmesi halen güncelliğini koruyan ve optimum çözümlerin arandığı bir konudur. Matematiksel olarak bakıldığında, görüntüde bulanıklığın giderilmesi tersine bir problemdir ve bu nedenle çözümü benzersiz değildir. Görüntü üzerindeki rastgele piksellere eklenmiş olan bu etkinin giderilmesi, görüntüyü oluşturan piksel değerlerinden bulanıklığa sebep olan gürültü değerlerinin kaldırılması ters işlemiyle sağlanabilir. Farklı metotlar kullanılarak yapılabilen görüntülerden bulanıklık giderme işlemi, ayrıntıların kaybedilmeden işlemin tamamlanması hedefiyle zorlu bir problemdir. Görüntülerden bulanıklığın giderilmesi çalışmaları birden fazla farklı alanda uygulamalarla karşımıza çıkmaktadır. Bu uygulamalara tıbbi görüntüleme, uzaktan algılama, SAR, su altı görüntüleme ve fotoğrafçılık gibi özel alanlar örnek olarak verilebilir. Bu alanlarda genellikle öncül işlem basamağında görüntüdeki gürültünün ve bulanıklığın giderilmesi işlemi gerçekleşmektedir. Gürültüden ve bulanıklıktan arındırılmış görüntü uygulamanın asıl işlem basamaklarına iletilmekte ve uygulamanın hedefine göre diğer görüntü işleme çalışmaları yapılmaktadır. Klasikleşmiş ve üzerinde uzun zamandır çalışılan bir problem olmasına rağmen görüntülerdeki bulanıklığın giderilmesi üzerine çalışmalar devam etmekte, çalışmalar sonucunda elde edilen bulgular karşılaştırılarak en optimum yöntemin bulunması üzerine çalışmalar yapılmaktadır. Tez çalışmasında, bulanıklık problemi ve bulanıklık giderme yöntemleri tüm yönleriyle ele alınmıştır. Bulanıklık giderme işlemi için kullanılan klasik filtreleme yöntemlerinden başlayarak günümüzde geliştirilmiş son teknoloji yöntemlere kadar çok sayıda yöntem incelenmiştir. Derin sinir ağları konusunda detaylı inceleme yapılmış ve tez uygulamasının mimarisi olan U-Net mimarisi anlatılmıştır. Dalgacık dönüşümleri temelli bir uygulama çalışması olması nedeniyle dalgacık dönüşümü yöntemleri detaylı bir şekilde incelenmiştir. Dalgacık paket dönüşümü yöntemini temel alan MWCNN ağının mimarisi tüm yönleriyle ele alınmıştır. MWCNN ağı mimarisinde her ayrık dalgacık dönüşümü seviyesinin sonrasında konvolüsyonel sinir ağı bloğu içermektedir. Bu sinir ağır bloğunda 'pooling' kullanılmadan dört katmanlı tam bağlı ağ(FCN) bulunmaktadır. Konvolüsyonel sinir ağı bloğunun her katmanı 3x3 filtre, yığın(küme) normalizasyonu ve doğrultulmuş doğrusal birim fonksiyonu(ReLU) işlemlerinden oluşmaktadır. Son sinir ağı bloğunda görüntü tahmini yapılması amacıyla yığın normalizasyonu ve doğrultulmuş doğrusal birin fonksiyonu işlemi(ReLU) bulunmamaktadır. MWCNN modeli 24 katmandan oluşmaktadır. Uygulama aşamasında derin sinir ağlarını temel alan ve dalgacık uzayında uygulanan MWCNN ağı bulanıklık giderme hedefine yönelik olarak MATLAB ortamında gerçeklenmiştir. Gerçeklenme sırasında yapay sinir ağı temellerinin sağlanması amacıyla 'MatConvNet' kütüphanesi kullanılmıştır. Modelin eğitimi sırasında, farklı bulanıklık çeşitleri ile farklı bulanıklık seviyelerinde yapay olarak temiz görüntüye bulanıklık eklenmesiyle elde edilen veri kümeleri ve bulanık görüntü temiz görüntü çiftlerini içeren gerçek görüntülerden oluşan veri kümeleri kullanılmıştır. Bu veri kümeleriyle ağ eğitimleri yapılmıştır. Diğer derin sinir ağları temelli bulanıklık giderme yöntemleriyle performans yönünden karşılaştırmalar yapılmıştır. Karşılaştırmada kullanılan derin sinir ağları tabanlı ağlar DeBlurGANv2, MTRNN ve SRN modelleridir. Matematiksel olarak elde edilen PSNR ve SSIM değerleri üzerinden yapılan karşılaştırmalar sonucu MWCNN ağının başarımının diğer ağların arasında bulunduğu nokta belirlenmiştir. MWCNN modelinin daha önce kullanıldığı gürültü giderme ve süper görüntü çözünürlüğü gibi problemlerin çözümüne ek olarak bulanıklık giderme probleminin çözümünde de başarılı sonuç verdiği belirlenmiştir. Gerek eğitim hızı gerekse başarım performansı diğer modellerle kıyaslandığında MWCNN modelini önemli bir yere konumlandırmaktadır.

Özet (Çeviri)

Images are subject to degradation during the stages such as image capturing, processing and transmitting because of the movement of the camera when image capturing, the deterioration in the transmission channel and other harmful factors. These degradations can appear as noise on the image or as blur on the image. Blurring, which may occur due to more than one reason, reduces quality of the image and makes it difficult to detect details. Deblurring studies on images have been among the importart image processing studies for years. The study of clearing the blur and bringing the image closer to its original form is called deblurring studies. Blur can have many different distributions depending on the reason for its formation. IF the dispersion of the noise added to the signal during the digitization on the analog signal or the physical effect of the image could be known it would be possible to remove the noise and remove the blur in the images with zero lose. However, since the effect of the noise added to the signal or the physical effect affecting the image on the signal in unknown, there is a loss of detail in the images during the removal of blur from the iamges. These details can include an important distinguishing feature in image. For this reason, it is target to preserve these details in the process of removing blur from images. Preserving this detail information, making the image as close to the original and increasing its quality are the main goals of blur removal studies. In general, removing blur in images is a topic that is still up-to-date and optimum solutions are studied. Mathematically express, removing blur in an image is an inverse problem and therefore its solution is not unique. The clean of this effect, which is added to the random pixels on the image, can be achieved by the reverse process of cleaning the noise values that cause blur from the pixel values that make up the image. Deblurring from images, which can be done using different methods, is a challenging problem with the goal of completing the process without losing details. Efforts to remove blur from images come up with applications in more than one field. Examples of these applications are specialized fields such as medical imaging, remote sensing, SAR, underwater imaging and photography. In these areas, the removal of noise and blurring in the image is usually carried out in the preprocessing step. The noise and blur-free image is transmitted to the main processing steps of the application and other image processing studies are carried out according to the application's target. Although it is a classic problem that has been studied for a long time, studies on removing blurring in images continue, and studies are carried out to find the most optimal method by comparing the findings obtained as a result of the studies. In the thesis study, the blur problem and deblurring methods are discussed in all aspects. Different types of blur explain in this thesis such as: Motion blur, Bokeh blur and Gaussian blur. A large number of methods have been examined, starting from the classical filtering methods used for the deblurring process, to the cutting-edge methods developed today. Wiener filtering, Richardson-Lucy algorithm and total variation filter can give example for classical deblurring method. A detailed study has been made about the development of convolutional neural network models. Convolutional neural network architectures that are currently in use are examined. U-Net architecture, which is the architecture of the thesis application, is explained in detail. U-Net architecture developed at Computer Science Department of the University of Freiburg for use biomedical image segmentation. Wavelet Transform is signal processing method based on alalysing a signal on different resolution for different frequencies. Main applications of wavelet transform is denoising and data compression. This thesis explain different types of wavelet transform such as; Continuous Wavelet Transform(CWT), Discrete Wavelet Transform(DWT), Wavelet Packet Transform(WPT), Stationary Wavelet Transform(SWT) etc. Because of it is an application study based on wavelet transforms, all wavelet transform methods are examined in detail. The architecture of the MWCNN(Multi-level Wavelet-CNN for Image Restoration) network, which is based on the wavelet packet transformation method, is discussed in all its aspects. In the MWCNN network architecture, it contains a convolutional neural network block after each discrete wavelet transform level. This neural network block has a four-layer fully connected network (FCN) without the use of pooling. Each layer of the convolutional neural network block consists of 3x3 filters, batch normalization, and rectified linear unit function (ReLU) operations. In the last neural network block, there is no batch normalization and rectified linear one function operation (ReLU) for image estimation. The MWCNN model consists of 24 layers. MWCNN model train 45 epoch. MWCNN model include 16139520 weight value. Weight values updates every epoch. Learning rate is start from 0.0001 but this value is adaptive. 'ADAM' algorithm was used as the optimization algorithm in the implementation of the network. In the application step, the MWCNN network based on deep neural networks and applied in wavelet space has been implemented in the MATLAB environment for the purpose of blurring. During the implementation, the 'MatConvNet' library was used to provide the artificial neural network fundamentals. During the training of the model, datasets obtained by artificially adding blur to a clean image with different blur types and different blur levels, and datasets consisting of real images containing blurred image clean image pairs were used. The dataset containing clean images used by adding artificially blur is the dataset named DIV2K. Four different networks are trained using this dataset. The blur parameter values used are 10, 20 and 50. The fourth network is trained using the mixed blur level(levels are 10, 20, 50). BSD68 and Set14 datasets were used in the tests for the model trained using the DIV2K dataset. The dataset containing the clean image blurred image pairs is the Realistic and Dynamic Scenes (REDS) dataset. The REDS(Realistic and Dynamic Scenes) dataset was used both in network training and testing of the network. In order to analyzing the performance of the network before and after the training of the network, PSNR and SSIM values were calculated and the restoration performance of the network on the images was calculated as a percentage. Comparisons were made between other deblurring methods and MWCNN in terms of performance. This deblurring methods are DeBlurGANv2, Multi-Temporal Recurrent Neural Networks (MTRNN) and Scale-recurrent Network for Deep Image Deblurring(SRN) methods. As a result of the comparisons made over the mathematically calculated PSNR and SSIM values, a examination was made to the performance of the MWCNN network. The results were statistically analyzed using the ANOVA(ANalysis Of VAriance) statistical method. Deep networks will provide convenience in solving many problems today. Deblurring problem is one of these problems. In the thesis, it has been shown that the MWCNN network can also be used in solving blurring problems such as using denoising and single image super resolution problems.

Benzer Tezler

  1. Tez No

    712510

    Image restoration with deep convolutional neural network

    Derin evrimsel sinir ağı ile görüntü restorasyonu

    MOHAMED CHETIN A EZZULDDIN

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir Üniversitesi

    Bilgisayar Mühendisliği Bilim Dalı

    DR. ÖĞR. ÜYESİ TARKAN AYDIN

  2. Tez No

    637291

    Bulanık su altı görüntülerinde derin öğrenme tabanlı balık tespiti

    Deep learning based fish detection in turbid underwater images

    TANSEL AKGÜL

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Bilim ve Teknolojiİstanbul Teknik Üniversitesi

    Uydu Haberleşmesi ve Uzaktan Algılama Ana Bilim Dalı

    DOÇ. DR. BEHÇET UĞUR TÖREYİN

  3. Tez No

    851178

    Deep learning methods for blind super resolution using self-attention transformers and degradation estimations

    Öz-dikkat dönüştürücüler ve bozulma tahminleri kullanarak kör süper çözünürlük için derin öğrenme yöntemleri

    BATUHAN VARDAR

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ŞEYDA ERTEKİN BOLELLİ

  4. Tez No

    676685

    Image text deblurring by convolutional neural networks

    Konvolüsyonel sınır ağları ıle görüntü metın bulanıklığı gıderme

    ALI SHAKIR MAHMOOD ALAHMED

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Elektrik ve Elektronik MühendisliğiGaziantep Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ SERKAN ÖZBAY

  5. Tez No

    833644

    Denetimsiz derin öğrenme kullanılarak dijital meme tomosentezi görüntülerinde bulanıklığın giderilmesi

    Unsupervised deblurring of digital breast tomosynthesis images using deep learning

    MÜBERRA AYDIN

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Mühendislik Bilimleriİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    DOÇ. DR. İSA YILDIRIM

Geri Dön