Geri Dön

Image reconstruction with deep learning and applications in MR images

Derin öğrenme ile görüntü geriçatımı ve MR görüntülerinde uygulamaları

PDF İndir

  1. Tez No: 729824
  2. Yazar: AMIR AGHABIGLOU
  3. Danışmanlar: PROF. DR. ENDER METE EKŞİOĞLU
  4. Tez Türü: Doktora
  5. Konular: Mekatronik Mühendisliği, Mechatronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Mekatronik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 122

Özet

Manyetik rezonans görüntüleme (MRG), girişimsiz doğası ve özellikle yumuşak dokular için yüksek kaliteli görüntüler sağlama yeteneği nedeniyle klinik görüntülemede önemli bir yöntemdir. Ancak, uzun süre veri toplama açısından dezavantaj oluşturmaktadır. Bu sıkıntının üstesinden gelmek için, MR taramalarını hızlandırmak için üç ana yaklaşım oluşturulmuştur. Bu ana akım yaklaşımlar, MRI fiziğine dayalı daha hızlı görüntülemeyi, paralel görüntüleme için çoklu bobinler kullanarak donanım modifikasyonunu ve alt örneklenmiş veriden MR görüntülerini geriçatmak sinyal işleme tekniklerini içerir. Yetersiz örneklenmiş k-uzay ölçümlerini kullanarak tarama işlemini hızlandırmak için çok çaba sarf edilmiştir. Alt örneklenmiş verilerden MR görüntülerinin geriçatımı için bu güçlü çözümlerden biri olarak derin öğrenme sunulmaktadır. Son zamanlarda, derin öğrenme teknikleri, çeşitli görüntü işleme uygulamalarında muazzam sonuçlar göstermiştir. Derin ağların son zamanlardaki hızlı gelişmeleri ile MR görüntülemedeki rolleri göz ardı edilemez. Geleneksel yöntemlere göre üstün performansı nedeniyle, derin öğrenme algoritmaları MR görüntülemede çok çeşitli alanlarda hızla uygulanmaktadır. Derin öğrenmeye dayalı MR görüntü geriçatım teknikleri, analitik yöntemlere kıyasla MR görüntü oluşturma süresini azaltma ve performans iyileştirme kapasitelerini göstermiştir. Derin öğrenme konusundaki son araştırmalar, U-Net'in çeşitli derin modeller arasında, özellikle ters problemlerin görüntülenmesi için etkili bir ağ yapısı olarak öne çıktığını ortaya koymaktadır. Başlangıçta, U-Net modeli, etiketli bir veri seti kullanırken biyomedikal görüntüler için segmentasyon problemlerini çözmek için geliştirildi. Bu tezde, ilk adımda, MR görüntü geriçatımın önemli ters problemi için U-Net yapısının yeni bir uygulamasını inceledik. Derin ağlar, veri toplama süresini azaltarak MR görüntüsünün geriçatım sürecinin hızlandırılması için özellikle etkilidirler ve k-uzayda yetersiz örneklemenin neden olduğu örtüşme bozulmalarını önemli ölçüde azaltabilirler. İlk denemede, alt örneklenmiş k-uzay verilerinden MR görüntülerini geriçatım için yeni ve verimli kademeli bir U-Net çerçevesi geliştirmeyi amaçladık. Yeni çerçeve, rakip tekniklerle karşılaştırıldığında iyileştirilmiş geriçatım performansına sahip olmalıdır. Bu bağlamda, U-Net'i bir alt blok olarak kullanan yeni bir kademeli çerçeve önerilmiştir. Tanıtılan U-Net kademeli yapısı, manyetik rezonans görüntü geriçatım problemine uygulanmıştır. Basamaklı U-Net'ler arasındaki bağlantı, yakın zamanda geliştirilmiş, projeksiyon tabanlı güncellenmiş bir veri tutarlılığı katmanı şeklinde gerçekleştirilir. Yeni yapı, derin öğrenme uygulamaları için en çok kullanılan ortam olan PyTorch ortamında gerçeklenmiştir. MR görüntü geriçatım için önemli bir kriter oluşturan yakın zamanda önerilen fastMRI veri seti, eğitim ve test amaçlı kullanılmıştır. Bu oldukça büyük ağların eğitimindeki birçok zorluğa rağmen, yeni yöntemler gerçek zamanlı olarak klinik düzeyde MR görüntü geriçatım sahip olma kabiliyetini artırdı. Yakın zamanlı literatürde verilen yeni gelişmeler, çeşitli görüntü işleme ters problemlerinde derin ağların kullanımını kolaylaştırmıştır. Özellikle, katmanlar arasında kısa bağlantılar kullanılarak derin ağların performansının iyileştirilebileceği birçok kez bildirilmiştir. Bu tezin bir sonraki adımında, bu tür kısa bağlantıları kullanan yeni bir MR görüntü geriçatım yöntemini tanıtıyoruz. Yoğun bağlantılar, yoğun bağlantılı artık blokların içinde kullanılır. Bu blokların içinde, özellik haritaları sonraki katmanlarla birleştirilir. Bu şekilde, çıkarılan bilgi bloğun son aşamasına kadar yayılır. Yeni yapılarda bu bloklarla farklı türde etkili derin ağ modellerini çoğaltarak, bu yoğun bağlantılı artık bloğun MR görüntü geriçatım ayarlarındaki etkinliğini değerlendirdik. Nicel ve nitel sonuçlar, yoğun bağlantılı blokların MR görüntü geriçatım sorununa bu orijinal tanıtımının geriçatım performansını önemli ölçüde iyileştirdiğini göstermektedir. Ek olarak, MR görüntülerinin hızlı ve yüksek kaliteli geriçatımı için yeni bir yoğun bağlantılı artık üretici rekabetçi ağı (DCR-GAN) önerilmiştir. DCR blokları, sıralı evrişim katmanlarında özellik kaybını önleyerek geriçatım ağının daha derine inmesini sağlar. DCR bloğu, birden fazla adımdan gelen özellik haritalarını birleştirir ve bunları ileri beslemeli bir şekilde sonraki evrişim katmanlarına girdi olarak verir. Bu yeni modelde, DCR bloğunun nispeten daha derin yapıları eğitme potansiyeli, diğer geleneksel GAN tabanlı modellere kıyasla nicel ve nitel geriçatım sonuçlarını iyileştirmek için kullanılır. Geriçatım sonuçlarından, yeni DCR-GAN'ın parametre karmaşıklığında veya çalışma sürelerinde önemli bir artış olmaksızın iyileştirilmiş geriçatım sonuçlarına yol açtığını görebiliriz. GAN tabanlı yapılar bazı sorunlara sahiptir. Yakınsamada yavaştırlar ve eğitim aşamasında kararsızdırlar. Bu çalışmada, dalgacık tabanlı yeni bir yapı önerilerek GAN'ın bu sınırlamaları da ele alınmıştır. Bunu başarmak için dalgacık dönüştürme paketini GAN yapısına dahil ettik. Bu modeli oluşturmak için kodlama ve kod çözme adımlarında dalgacık dönüşümü kullanılır. Başka bir deyişle, altörnekleme ve üstörnekleme katmanlarını Ayrık Dalgacık Dönüşümü (DWT) ile değiştirdik. DWT, daralma aşaması sırasında her bir havuzlama işleminin yerini almak için kullanılır. DWT tersine çevrilebilir bir paket olduğundan, bu altörnekleme yaklaşımı, tüm bilgilerin tutulabilmesini garanti eder. DWT ayrıca, ince dokunun korunmasına yardımcı olacak özellik haritalarının hem frekans hem de konum bilgilerini kaydedebilir. Özellik haritalarının boyutunu yükseltmek için genişletme adımında ters dalgacık dönüşümü kullanılır. Ayrıca, bu alandaki son gelişmeler, MR görüntüsünün geriçatımı için başka bir yeni derin açılım yapısı önermemiz için bize ilham vermiştir. Geliştirilen son yöntemde, modeli sadece görüntü girişini değil, aynı zamanda güncellenmiş bir gürültü seviyesi parametresini kullanarak eğittik. Gürültü seviyesi parametresi, ağ çıkışı ile sıfır doldurma tahmini arasındaki hata kullanılarak her yinelemede hesaplanır. Bu yeni parametre, ağa ek bir girdi olarak verilir ve açılma yinelemeleri üzerinden ağın görüntü işleme gücü için gelişen bir düzenleyici görevi görür. Eğitim adımında yinelemeler üzerinden bu uyarlanabilirliğin tanıtılması, sonuç aşamasında derin modellerin geriçatılmiş görüntü kalitesini de geliştirir. Deneysel sonuçlar, önerilen yöntemin parametrelere önemli miktarda karmaşıklık eklemeden diğer son teknoloji basamaklı yapılara kıyasla daha iyi geriçatım sonuçları ve benzer hız ile yakınsadığını onaylamaktadır. Tüm çalışmalarımızda önerilen modellerimizi MR görüntü geriçatımında yüksek başarımlı tekniklerle değerlendirdik. Hem nicel hem de nitel sonuçlar sağladık. Bu bağlamda, farklı altörnekleme değerleri için PSNR, SSIM ve NMSE gibi üç farklı değerlendirme metriğinin simülasyon sonuçları verilmiştir. Geliştirilen modeller arasındaki performans farkını vurgulamak için istatistiksel değerlendirme testleri yapılmıştır. Simüle edilmiş modellerin tüm değerlendirme metrikleri ve konfigürasyonları açısından istatistiksel önemini vurgulamak için tek yönlü bir varyans analizi (ANOVA) sunduk. ANOVA test bulguları, hem hızlanma faktörleri hem de tüm değerlendirme ölçütleri için 99%'dan fazla güvenilirlik ortaya koymaktadır. Ayrıca, önerilen modellerin etkinliğini doğrulamak için t-test kullanıldı. Bunu yapmak için, tüm modeller t-test ile yüksek başarımlı yapılara kıyasla ikili olarak değerlendirildi. Eşleştirilmiş t-testleri, 0,05'lik eşik değerinden daha düşük p-değerleri verdi. Bu sonuç, önerilen yapılarımızda yüzde 95'ten fazla güvenilirlik olduğunu göstermektedir. Önerilen yoğun bağlantılı artık modellerin sağlamlığı, onları yeniden eğitmeden başka bir veri kümesi türüyle test ederek doğrulanmıştır. Diğer veri kümesi, eğitim veri kümesine kıyasla boyut ve vücut dokusu açısından farklıdır. Tez kapsamında önerilen bu yeni yapılar, tüm değerlendirme ölçütleriyle ilgili olarak en son tekniklerle karşılaştırıldığında MR görüntü geriçatım performansını artırmıştır. Bu yapılar, yüksek kaliteli görüntüleri geriçatım kapasitelerini kanıtladılar. Daha da önemlisi, MR görüntülemenin hızlanmasıyla ilgili olarak tez hedefi karşılandı. Bu tezde önerilen modellerin, genel olarak gerçek zamanlı tıbbi görüntülemede bile kullanılabilecek kadar hızlı olduğu değerlendirilmiştir.

Özet (Çeviri)

Magnetic resonance imaging (MRI) is an important modality in clinical imaging because of its non-invasive nature and capability of providing high-quality images, especially for soft tissues. However, it suffers from long data acquisition times. To tackle this drawback, three major approaches for accelerating MR scans have been established. These mainstream approaches include faster imaging based on MRI physics, hardware modification by using multiple coils for parallel imaging, and signal processing techniques by reconstructing MR images from undersampled data acquisition. Much effort has been directed to speed up the scanning operation by utilizing undersampled k-space measurements. Deep learning is offered as one of these powerful solutions for the reconstruction of MR images from subsampled data. Recently, deep learning techniques have shown tremendous results in a variety of image processing applications. With the recent swift improvements of deep networks, their role in MR imaging cannot be overlooked. Due to its superior performance over conventional methods, deep learning algorithms are rapidly being applied in a wide range of domains of MR imaging. MRI reconstruction techniques based on deep learning have shown their capacity for reducing MRI acquisition time and performance improvement compared to analytical methods. Recent studies in deep learning reveal that the U-Net stands out among the diverse set of deep models as an effective network structure, especially for imaging inverse problems. Initially, the U-Net model was developed to solve segmentation problems for biomedical images while using an annotated dataset. In this thesis, in the first step, the novel application of the U-Net structure was considered for the important inverse problem of MRI reconstruction. Deep networks are particularly efficient for the speed-up of the MR image reconstruction process by decreasing the data acquisition time, and they can significantly reduce the aliasing artifacts caused by the undersampling in the k-space. On the first try, it is aimed to develop a novel and efficient unfolding U-Net framework for reconstructing MR images from undersampled k-space data. The new framework should have improved reconstruction performance when compared to competing methodologies. In this step, a novel unfolding framework utilizing the U-Net as a sub-block is being proposed. The introduced U-Net unfolding structure is applied to the magnetic resonance image reconstruction problem. The connection between the unfolding U-Nets is realized in the form of a recently developed projection-based updated data consistency layer. The novel structure is implemented in the PyTorch environment, which is one of the standards for deep learning implementations. The recently created fastMRI dataset which forms an important benchmark for MRI reconstruction is used for training and testing purposes. Despite the many challenges in training rather large networks, novel methodologies have enhanced the capability for having clinical-grade MR image reconstruction in real-time. In recent literature, novel developments have facilitated the utilization of deep networks in various image processing inverse problems. In particular, it has been reported multiple times that the performance of deep networks can be improved by using short connections between layers. In the next step of this thesis, a novel MRI reconstruction method is introduced that utilizes such short connections. The dense connections are used inside densely connected residual blocks. Inside these blocks, the feature maps are concatenated to the subsequent layers. In this way, the extracted information is propagated until the last stage of the block. The efficiency of these densely connected residual blocks was evaluated in MRI reconstruction settings, by augmenting different types of effective deep network models with these blocks in novel structures. The quantitative and qualitative results indicate that this original introduction of the densely connected blocks to the MR image reconstruction problem improves the reconstruction performance significantly. In addition, a novel densely connected residual generative adversarial network (DCR-GAN) is proposed for fast and high-quality reconstruction of MR images. DCR blocks enable the reconstruction network to go deeper by preventing feature loss in the sequential convolutional layers. DCR block concatenates feature maps from multiple steps and gives them as the input to subsequent convolutional layers in a feed-forward manner. In this new model, the DCR block's potential to train relatively deeper structures is utilized to improve quantitative and qualitative reconstruction results in comparison to the other conventional GAN-based models. It can be see from the reconstruction results that the novel DCR-GAN leads to improved reconstruction results without a significant increase in the parameter complexity or run times. The GAN-based structures generally suffer from some limitations. They are slow in convergence and they are unstable during the training step. In this work, these limitations of GAN also was addressed by proposing a new wavelet-based structure. To accomplish this, the wavelet transform packet was incorporated into the GAN structure. The wavelet transform is used in the encoding and decoding steps to create this model. In another word, the downsampling and upsampling layers were replaced with Discrete Wavelet Transform (DWT). DWT is used to replace each pooling process during the contraction phase. As DWT is a reversible package, this downsampling approach guarantees that all information can be retained. DWT can also record both the frequency and position information of feature maps, which will aid in the preservation of fine texture. The inverse wavelet transform is employed in the expansion step to upgrade the size of feature maps. Moreover, recent breakthroughs in this field have inspired us to propose another novel deep unfolding structure for MR image reconstruction. In the last step, the model was trained using not only an iteration of the image itself but also utilizing an updated noise level parameter. The noise level parameter is calculated at each iteration using the error between the network output and the initial zero filling estimate. This new parameter is given as an additional input to the network, and it acts as an evolving regularizer for the image manipulation strength of the network over the unrolling iterations. The introduction of this adaptivity over iterations in the training step also improves the deep models reconstructed image quality in the inference stage. Empirical results indicate that the recommended technique can convergence to better reconstruction results when compared to state-of-the-art unfolding structures devoid of such an adaptive parameter. The introduction of the additional adaptive parameter results in an incremental increase in the parameter complexity, and the required reconstruction times also stand very similar. In this thesis, both quantitative and qualitative results were provided and the proposed model's results were evaluated with cutting-edge techniques in the MR image reconstruction field. Three commonly used evaluation metrics of PSNR, SSIM, and NMSE were used to evaluate simulation results. The statistical differences between developed techniques are investigated using the one-way ANOVA method. Additionally, a t-test is used to specify the major difference between the means of the two proposed structures. Additionally, the robustness of the proposed densely connected residual models was verified by testing them with another dataset type without retraining them. The other dataset differs in size and body tissue type compared to the training dataset. The suggested novel structures in this thesis are improved MR image reconstruction performance compared to state-of-the-art techniques regarding all evaluation metrics. They proved their capacity for reconstructing high-quality images. More importantly, the thesis goal was satisfied regarding the acceleration of MR imaging. The proposed models in this thesis are generally considered to be fast enough to be used even in real-time medical imaging.

Benzer Tezler

  1. Tez No

    659034

    Görüntü işlemede derin öğrenme tabanlı süper çözünürlük uygulamaları

    Deep learning based super resolution applications in image processing

    AHENK VURAL

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. ENDER METE EKŞİOĞLU

  2. Tez No

    666387

    Deep learning for accelerated MR imaging

    Başlık çevirisi yok

    SALMAN UL HASSAN DAR

    Doktora

    İngilizce

    İngilizce

    2021

    Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TOLGA ÇUKUR

  3. Tez No

    767053

    Development of software tools for improved 1H magnetic resonance spectroscopic imaging

    İyileştirilmiş 1H manyetik rezonans spektroskopik görüntüleme için yazılım araçlarının geliştirilmesi

    SEVİM CENGİZ

    Doktora

    İngilizce

    İngilizce

    2022

    BiyomühendislikBoğaziçi Üniversitesi

    Biyomedikal Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ESİN ÖZTÜRK IŞIK

  4. Tez No

    769837

    Derin öğrenme ile süper çözünürlüklü radar görüntüleme

    Super resolution radar imaging with deep learning

    İREM FADİME ERİM

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik-Haberleşme Eğitimi Ana Bilim Dalı

    PROF. DR. IŞIN ERER

  5. Tez No

    905195

    Dinamik olmayan stokastik rezonans yöntemi kullanılarak su altı görüntülerinin iyileştirilmesi

    Underwater image enhancement using non-dynamic stochastic resonance

    RUSTAM SALIMOV

    Doktora

    Türkçe

    Türkçe

    2024

    Fizik ve Fizik MühendisliğiSakarya Üniversitesi

    Fizik Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ HACI AHMET YILDIRIM

Geri Dön