Geri Dön

Deep learning for ınverse problems in ımaging

Görüntüleme ters problemlerinde derin öğrenme

PDF İndir

  1. Tez No: 856455
  2. Yazar: HASAN HÜSEYİN KARAOĞLU
  3. Danışmanlar: PROF. DR. ENDER METE EKŞİOĞLU
  4. Tez Türü: Doktora
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Telekomünikasyon Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 137

Özet

Görüntüleme ters problemleri birkaç on yıldır multimedya, dijital eğlence, astronomik ve tıbbi görüntüleme gibi çok sayıda alanda ortaya çıkmış ve araştırmacıların yoğun bir şekilde çözmeye çalıştıkları popüler konular arasında yer almışlardır. Günümüz teknolojisinde dijital bir kamera ile bir görüntü elde edilirken çeşitli bozucu etkenlerden ötürü görüntünün kalitesi düşük ve gürültülü bir şekli elde edilir. Görüntüleme ters problemleri, asıl görüntüyü bozan etkenleri mümkün olduğunca gidermeye çalışarak eldeki düşük kaliteli görüntüden yüksek kaliteli asıl görüntüyü elde etmeyi hedefler. Ters görüntüleme problemleri için önerilen çok sayıda yöntem kabaca model ve derin öğrenme tabanlı yöntemler olarak iki sınıfta ele alınabilir. Model tabanlı klasik yöntemlere ait literatürü temiz görüntü modellerinin tarihi şeklinde okumak mümkündür. Bu yöntemlere göre temiz görüntüye ait faydalı modeller problemlere dahil edilerek çözülmeye çalışılır. Bu modeller içerisinde üzerinde en çok çalışma yapılanlar, düzgünlük (smoothness), dönüşüm bölgesinde seyreklik (transform domain sparsity) ve yerel olmayan öz benzerlik (nonlocal self-similarity) modelleridir. Klasik dönemin modele dayalı yöntemleri içerisinde en yüksek başarım sonuçlarına dönüşüm bölgesinde seyrekliği esas alan algoritmaların eriştiği bilinmektedir. Seyreklik modeline göre bir temiz görüntü Fourier, kosinüs ve dalgacık gibi dönüşümlerin çok az sayıda katsayısı ile yaklaşık olarak elde edilebilmektedir. Literatürde esin kaynağı seyreklik modeli olan ve dönüşüm bölgesinde çalışan bir çok yöntem önerilmiştir. Üç aşamadan oluşan dönüşüm tabanlı yöntemlerin ilk aşamasında, düşük kaliteli görüntünün bir dönüşüm yardımıyla spektrumu elde edilir. Ardından, uygun bir lineer olmayan fonksiyon ile spektrum katsayılarının düzeltilmesi işlemi yapılır. Son olarak, ters dönüşüm yardımı ile piksel bölgesine dönülerek gürültüden arındırılmış yüksek kaliteli görüntü elde edilir. Seyreklik modeli sonraki dönemde kullanılan yerel olmayan öz benzerlik modeli ile birleştirilmiş ve derin öğrenme öncesi en yüksek başarım sonuçlarına sahip olan yöntemler ortaya çıkmıştır. Ters görüntüleme problemlerinin derin öğrenme teknikleri ile çözüm çabaları ise algoritmaların başarım sonuçlarını yükseltmiştir. Fakat derin ağların başarımlarındaki artışın çoğunlukla daha gelişkin ve güçlü mimari tasarım ile doğru orantılı olduğu gözlemlenmiştir. Oysa salt bir mimari tasarım ile hareket etmek, ters görüntüleme problemleri için yeni çözümlerin geliştirilmesinde araştırmacıları çıkmaza götürmektedir. Derin öğrenme literatüründe ters problemlerin çözümü için edinilen yaygın alışkanlık dönüşüm bölgesi yerine piksel bölgesinde eşlem yapmaktır. Bir başka deyişle, derin sinir ağları dönüşüm bölgesinde seyreklik modelinin gücünden pek faydalanmamaktadırlar. Sadece birkaç çalışmada derin ağların dönüşüm bölgesinde eğitimi hususu ele alınmıştır. Bu çalışmalara bakıldığında, görüntü gürültü giderme problemi için dönüşüm bölgesinde eğitimi tercih eden derin ağların çoğunlukla dalgacık dönüşümünü seçtiği görülür. Böylesi bir seçimdeki en büyük etken dalgacık dönüşümünün görüntü benzeri spektrum (alt bantlar) üretmesidir. Ters görüntüleme problemleri için önerilen ağların mimarisinde çokça kullanılan konvolüsyon katmanı giriş verisinin komşu değerleri arasında bir ilişki aradığı için dalgacık dönüşümü katsayılarının kullanılması makuldür ve bu ağlarla etkili sonuçlar elde edilmiştir. Halbuki ters problemlerin çözümünde istenilen seyreklik özelliğini çoğu görüntü için daha iyi sağladığı bilinen ayrık kosinüs dönüşümü (discrete cosine transform - DCT) gibi dönüşümler böylesi bir spektrum üretmediği için derin ağlarda çoğunlukla tercih edilmemiştir. JPEG sıkıştırma kalıntısı giderme probleminde ise derin sinir ağları gürültüye sebep olan adımları hesaba katmadan piksel bölgesinde çalışarak sıkıştırma gürültüsünü gidermeye çalışır. Halbuki JPEG sıkıştırma kalıntısı giderme probleminde gürültünün asıl kaynağı olan kuantalama işlemi yüksek sıkıştırma becerisine sahip olan DCT bölgesinde yapılmaktadır. Gürültü giderme probleminde gerekçelendirildiği gibi dönüşüm bölgesinde eşlem yapmaya çalışan derin sinir ağları çoğunlukla DCT yerine dalgacık dönüşümünü tercih etmiştir. Ayrıca sıkıştırma kabiliyeti yüksek olan başka analitik işaret dönüşümlerinin derin ağlarla birlikte ele alınmadığı da gözlemlenmiştir. Yapılan gözlemlerden hareketle, bu tez çalışmasında gürültü giderme ve JPEG sıkıştırma kalıntısı giderme problemleri için yenilikçi dönüşüm tabanlı yaklaşımlar sunulmaktadır. DCTNet, görüntü gürültü giderme problemi için DCT'nin özel bir türünü kullanan derin bir konvolüsyonal sinir ağıdır (convolutional neural network - CNN). DCTNet'te gürültülü görüntüden örtüşmeli olarak çıkarılan görüntü yamalarının DCT katsayıları hesaplanmıştır. Ardından yama katsayılarının tamamı bir kanal oluşturacak şekilde arka arkaya dizilerek konvolüsyon katmanlarında işlenmesi uygun olan DCT alt bantları oluşturulmuştur. Böylesi bir kullanımın 2B DCT taban görüntülerinin kirli görüntü ile konvolüsyonu işlemine karşılık geldiği matematiksel olarak gösterilmiş ve DCT'nin bu kullanımına DCT filtre bankası ismi verilmiştir. Benzer şekilde, ters DCT katsayılarının bir konvolüsyon işlemi ile hesaplanabildiği gösterilmiştir. DCTNet'te lineer olmayan büzme fonksiyonu derin bir CNN ağı ile parametrelendirilmiş ve bu sayede, DCT bölgesinde bir CNN ağının etkili bir eğitimi gerçekleştirilmiştir. Önerilen DCTNet ağının gri ve renkli görüntülerin gürültü gideriminde gerek nicel gerekse de nitel açıdan başarılı sonuçlar verdiği gösterilmiştir. Ayrıca, önerilen DCTNet ağının gürültü giderme başarımının zayıf olduğu bir görüntü üzerinden nasıl geliştirilebileceği tartışılmıştır. JPEG sıkıştırma kalıntısı giderme problemi için DCTNet yapısından faydalanarak Harmonic Net ağları önerilmiştir. Şimdiye kadar JPEG bağlamında ele alınmamış ve sıkıştırma becerisi yüksek olan sinüs ve Hartley dönüşümleri de ilk defa derin sinir ağlarında kullanılmıştır. Önerilen Harmonic Net ağlarında, her üç dönüşümün DC taban görüntüsüne sahip olup olmamasına bağlı olarak bazı mimari farklar ortaya çıkmıştır. Yapılan deneyler, önerilen ağların daha az parametreye ve basit bir ağ topolojisine sahip olmasına rağmen en yüksek başarım sonuçlarına sahip gelişkin derin ağların bir kısmını geçtiğini, diğerlerinin de az bir farkla gerisinde olduğunu göstermiştir. Ayrıca önerilen Harmonic Net ağlarının etkinliğini ve sağlamlığını gösterebilmek amacıyla çeşitli ablasyon çalışmaları yapılmış ve sonuçlar tartışılmıştır. Bu tez kapsamında manyetik rezonans görüntülerinin geriçatımında yaygın bir teknik olan sıkıştırılmış algılamalı MRI (compressed sensing magnetic resonance imaging - CS MRI) problemi de ele alınmıştır. Geride bıraktığımız on yılda toplamsal beyaz Gauss gürültüsü giderme probleminin çözümünün sadece gürültü giderme problemi açısından değil, diğer ters görüntüleme problemleri için de önemli olduğu teorik ve ampirik olarak gösterilmiştir. Bu yöntemlerden biri olan tak ve çalıştır (plug-and-play - PnP) yöntemlerinde herhangi bir ters problemin maliyet fonksiyonuna ilave kısıtlar eklenir. Elde edilen yeni problemin bir adımı Gauss gürültü giderme problemine benzediğinden bu adım herhangi bir Gauss gürültü gidericisi ile yinelemeli olarak çözülmeye çalışılır. Tez çalışmasında PnP araştırma dalgasından esinlenerek basit bir ağ mimarisine sahip bir Gauss gürültü giderici CNN ağı, CS MRI problemi için önerilmiştir. Önerilen algoritmanın yakınsama analizinin de yapıldığı deneylerde yöntemimizin manyetik rezonans görüntülerinin geri çatımında başarılı olduğu gösterilmiştir.

Özet (Çeviri)

Efforts to solve inverse imaging problems with deep learning techniques have increased the performance results of the algorithms. However, it has been observed that the increase in the performance of deep networks is mostly directly proportional to their more advanced and powerful architectural design. Acting with a pure architectural design leads researchers to dead end in the development of new solutions. On the other hand, in the classical era before deep learning, inverse imaging problems have been solved by making use of clean image models. Among model-based methods from classical period, the brightest results belong to the algorithms based on sparsity in transform domain. Contrary to this known fact, the common habit in deep learning literature to solve inverse problems is to find a model (map) on pixel domain rather than transform domain. Only a few studies have addressed training of deep networks in transform domain. In image denoising problem, deep networks that prefer training in transform domain have mostly chosen the discrete wavelet transform. The major factor in such a choice is that the wavelet transform produces image-like spectrum coefficients (subband images). Convolution layer is widely used in architecture of networks which are proposed for inverse imaging problems and it searches for a relationship between neighboring values of the input data of a convolution layer. In other words, it is reasonable to use wavelet transform coefficients in deep networks. Therefore, these wavelet-based networks have given effective results for inverse imaging problems. However, transforms such as DCT, which are known to provide good energy compaction property for most images in solving inverse problems, have not been preferred in deep networks. This is because they do not produce spectra such as wavelet subband images. In JPEG compression artifact removal problem, the primary source of compression artifact is the quantization of the transform coefficients of an image. During the quantization, transforms which have high compression ability such as the DCT are chosen. However, the majority of compression artifact removal algorithms have used deep neural networks that find a map in pixel domain. Based on these observations above, in this thesis study, novel transform based approaches are presented for image denoising and JPEG compression artifact removal problems. DCTNet is a deep convolutional neural network that utilizes the DCT for image denoising problem. In DCTNet, DCT coefficients of image patches extracted overlappingly from noisy image are calculated. Then, the spectral coefficients of all the patches are ordered to form a channel, which are suitable for subsequent processing in convolution layers. It has been shown mathematically that such a usage corresponds to the process of convolution of 2D DCT basis images with noisy image. Similarly, it has been shown that the calculation of inverse DCT coefficients can be done by a convolution operation with the same basis images. In this way, effective training of CNN networks in the DCT domain is carried out and it is shown that the proposed DCTNet give successful results in image denoising problem. Harmonic Nets are proposed by utilizing the DCTNet structure for JPEG compression artifact removal problem. In addition to the DCT, sine and Hartley transforms are also utilized to remove compression artifacts. These two transforms having high compression capability, which have not been discussed in the context of JPEG until now, are used in deep networks for the first time. Architectural changes have occurred in designing the proposed Harmonic Nets due to some differences between all three transforms. Experimental study have shown that although the proposed networks have fewer parameters and a simpler network topology, they surpass some of the advanced deep networks with the highest performance results and lag behind the others by a small margin. Within the scope of this thesis, compressed sensing MRI problem, which is a common technique in reconstructing magnetic resonance images, is also discussed. Over the past decade, it has been shown theoretically and empirically that the solution of additive white Gaussian noise removal problem is important not only for denoising problem but also for other inverse imaging problems. In plug-and-play methods, additional constraints are added to the cost function of any inverse problem. Since one step of the resulting new problem is similar to Gaussian denoising problem, this step is attempted to be solved with any Gaussian denoiser iteratively. In this study, inspired by PnP research wave, a simple and vanilla convolutional neural network for Gaussian denoising problem is proposed for CS MRI problem. In the experiments where convergence analysis of the proposed scheme is performed, we confirmed that our algorithm is successful for MR image reconstruction.

Benzer Tezler

  1. Tez No

    729824

    Image reconstruction with deep learning and applications in MR images

    Derin öğrenme ile görüntü geriçatımı ve MR görüntülerinde uygulamaları

    AMIR AGHABIGLOU

    Doktora

    İngilizce

    İngilizce

    2022

    Mekatronik Mühendisliğiİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    PROF. DR. ENDER METE EKŞİOĞLU

  2. Tez No

    895622

    Learning based multiple input multiple output radar imaging

    Öğrenme tabanlı çok girişli çok çıkışlı radar görüntüleme

    KUDRET AKÇAPINAR

    Doktora

    İngilizce

    İngilizce

    2024

    Elektrik ve Elektronik MühendisliğiSabancı Üniversitesi

    Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. ÖZGÜR GÜRBÜZ ÜNLÜYURT

    DR. NAİME ÖZBEN ÖNHON

  3. Tez No

    685389

    Deep learning for multi-contrast MRI synthesis

    Çoklu kontrast MRG için derin öğrenme

    MAHMUT YURT

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent Üniversitesi

    Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TOLGA ÇUKUR

  4. Tez No

    769837

    Derin öğrenme ile süper çözünürlüklü radar görüntüleme

    Super resolution radar imaging with deep learning

    İREM FADİME ERİM

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik-Haberleşme Eğitimi Ana Bilim Dalı

    PROF. DR. IŞIN ERER

  5. Tez No

    763232

    Directional regularization based variational models for image recovery

    Görüntü onarımı için yön güdümlü düzenlemeye dayalı varyasyonel modeller

    EZGİ DEMİRCAN TÜREYEN

    Doktora

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. MUSTAFA ERSEL KAMAŞAK

Geri Dön