Geri Dön

Efficient super-resolution and MR image reconstruction networks

Verimli süper çözünürlük ve MR imgeleri geriçatım ağları

PDF İndir

  1. Tez No: 783650
  2. Yazar: DURSUN ALİ EKİNCİ
  3. Danışmanlar: PROF. DR. BEHÇET UĞUR TÖREYİN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilişim Uygulamaları Ana Bilim Dalı
  12. Bilim Dalı: Bilgi ve Haberleşme Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 85

Özet

İmge süper çözünürlüğü, görüntü işlemedeki önemli ve zor problemlerden birisidir. Süper çözünürlük, düşük seviyeli bir bilgisayarlı görü problemidir. Düşük çözünürlüklü imgeden yüksek çözünürlüklü imgeyi elde etmeyi hedeflemektedir. Bunun için kayıp yüksek frekans detaylarının tespitine ihtiyaç vardır. Düşük çözünürlüklü imge, yüksek çözünürlüklü imgeye bulanıklık çekirdeği ile evrişim ve alt örnekleme uyguladıktan sonra gürültü eklenmesi şeklinde modellenmektedir. Süper çözünürlük televizyon, cep telefonu ve kamera gibi birçok cihaz için kritik olmakla birlikte nesne tespiti, tıbbi görüntüleme, güvenlik ve astronomi gibi alanlar için de oldukça kullanışlıdır. Bu problemin zor olmasının sebebi çözüm uzayıdır. Tek bir düşük çözünürlüklü imgeden farklı birçok yüksek çözünürlüklü imge üretilebilmektedir. Geçmişte bu problemi çözmek için istatistik, kenar, seyrek temsil tabanlı gibi farklı yöntemler önerilmiştir. Son yıllarda ekran kartları sayesinde popülerliği artan derin öğrenme, doğal dil işleme ve bilgisayarlı görü gibi birçok alana uygulanmıştır. Süper çözünürlük için de evrişimsel sinir ağlarına dayalı modeller önerilmiştir ve bu modeller yüksek başarımlar göstererek klasik yöntemleri geride bırakmıştır. Derin öğrenme modelleri ağın yapısı, kullanılan kayıp fonksiyonu ve öğrenme stratejisine göre farklılık göstermektedir. Ağ yapıları genellikle üç aşamadan oluşmaktadır. İlk aşamada girdi imgesinden öznitelikler çıkarılır. İkinci aşamada bu özniteliklere doğrusal olmayan eşleme uygulanır. Son aşamada ise yüksek çözünürlüklü imge üretilir. Ekran kartlarının hesaplama kabiliyeti ile karmaşık ağların eğitimi kolaylaşmıştır. Bu yüzden, araştırmacılar daha geniş ve derin ağlar tasarlayarak süper çözünürlük için daha yüksek başarımlar elde etmişlerdir. Karmaşık yapılar sayesinde ağların başarıları yükselmiştir ancak beraberinde başka problemleri de getirmiştir. Bu yapılar milyonlarca parametreye ve yüksek hesaplama maliyetine sahiptirler. Dolayısıyla bu ağlar cep telefonu gibi kısıtlı kaynaklara sahip cihazlarda kullanılamamaktadır. Bu sorunu çözmek için bazı araştırmacılar daha verimli ağ yapıları tasarlamaya odaklanırken bazıları ise karmaşık modelleri sıkıştırmaya odaklanmıştır. Bilgi damıtma son yıllarda araştırmacıların ilgisini çeken bir model sıkıştırma yöntemidir. Bu yöntemde, öğretmen ağ denilen karmaşık yapılı bir ağ kullanılarak öğrenci ağ denilen basit yapılı bir ağ eğitilmektedir. Burada amaç öğrenci ağın daha az maliyetle öğretmen ağın yaptıklarını taklit etmesidir. Bu tez çalışmasında, farklı bilgi damıtma şemaları önerilerek yüksek genelleme becerisine sahip karmaşık süper çözünürlük ağlarının sıkıştırılması hedeflenmiştir. Önerilen şemalar SRResNet ve EDSR ağları üzerinde denenmiştir. Bu ağların özelliği tekrar eden bloklara sahip olmalarıdır. SRResNet 16 artık katmana sahipken EDSR 32 artık katmana sahiptir. Bilgi damıtma kullanılarak bazı artık katmanların kendilerinden sonra gelen katmanların çıktılarına benzer çıktılar üretmesi sağlanılırsa gereksiz artık katmanlar ağdan çıkarılarak sıkıştırma işlemi gerçekleştirilebilir. Bu çalışmada önerilen yöntemlerden bir tanesinde çevrimdışı damıtma kullanılırken geri kalanlarda kendi kendine damıtma kullanılmıştır. Çevrimdışı damıtmada öğretmen ağ sabittir ve sadece çıktı üretmek için kullanılır. Kendi kendine damıtmada öğretmen ve öğrenci ağ aynıdır. Bilgi, ağın kendi içinde damıtılır. Önerilen her şemada iki farklı kayıp tanımlanmıştır. Bir tanesi ağların ara katmanlarından elde edilen öznitelik haritaları kullanılarak tanımlanırken diğeri ağların çıktıları kullanılarak tanımlanmıştır. Bu kayıplar belli katsayılar ile çarpılıp birbirine eklenerek öğrenci ağın eğitimi için kullanılacak olan toplam kayıp elde edilmiştir. Birçok farklı damıtma şeması ve kayıp fonksiyonu ile deneyler yapılmıştır. Modeller DIV2K veya ImageNet veri kümeleri kullanılarak eğitilmiştir. Fazlalık olan katmanlar atılarak modeller sıkıştırılmış ve Set5, Set14, BSD100 ve Urban100 veri kümeleri üzerinde 4x ölçekleme faktörü için test edilmiştir. Sonuçlar PSNR ve SSIM metrikleri kullanılarak raporlanmıştır. Aynı zamanda ağların parametre sayılarındaki değişimler de verilmiştir. Elde edilen sonuçlarda önceki artık katmanların kendilerinden sonra gelenlere benzer çıktılar ürettiği gözlenmiştir. Sıkıştırılan modeller bilgi damıtma kullanmadan da eğitilmiştir ve bu şekilde eğitilen modellerin PSNR değerlerinin bilgi damıtma kullanılarak eğitilen modellerden daha yüksek olduğu görülmüştür. Dolayısıyla başarı kaybını önleyecek farklı yaklaşımların araştırılmasına ihtiyaç olduğuna karar verilmiştir. Derin öğrenmeden yararlanan bir başka araştırma alanı da manyetik rezonans görüntülemedir. Bu yöntem hastalıkların belirlenmesi ve öğrenilmesi açısından tıbbi görüntülemede kritik bir yere sahiptir. Aynı zamanda bilgisayarlı tomografi ile kıyaslandığında radyasyona ihtiyaç duyulmadığından daha güvenlidir. Tarayıcılar ile elde edilen veriler $k$-uzayı denilen frekans alanındadır. $k$-uzayı verisi, imgeleri oluşturmak için gerekli olan bilgiyi tutar. Bu veride düşük frekans bilgisi merkezde iken yüksek frekans bilgisi bu alanın dışına yerleştirilmiştir. Yüksek kaliteli imge üretebilmek için yeterli $k$-uzayı verisi toplanmalıdır ancak bu hastaların tarayıcılarda uzun zaman kalması anlamına gelmektedir. Uzun tarama süreleri hastalara rahatsızlık verebilmektedir. Dolayısıyla, tarama sürelerini kısaltmak için daha az $k$-uzayı verisi ile yüksek kaliteli imge elde etmek önemli bir araştırma konusudur. Derin öğrenme yöntemleri kenar ve seyrek temsil bazlı gibi klasik yöntemlerden daha iyi sonuçlar üretmiştir. Süper çözünürlük problemi de manyetik rezonans imgeleri geriçatım problemi de kayıp yüksek frekans bilgisini kurtararak yüksek kalitede imge üretmeyi hedeflediğinden süper çözünürlükte kullanılan bazı yöntemler bu problem için de kullanılabilir. Bu yüzden, bu çalışmada yinelemeli yukarı ve aşağı örnekleme çerçevesini kullanan IUDN ağı önerilmiştir. Alt örneklenmiş $k$-uzayı verisindeki eksik kısımlar sıfır ile doldurulmuş ve ters fourier dönüşümü alınmıştır. Ağın girdisi, dönüşümün sonucunun mutlak değeri alınarak elde edilmiştir. İlk aşamada evrişim katmanları ile girdinin öznitelik haritaları çıkarılır. Devamında öznitelik haritaları birden fazla ölçekleme faktörüne sahip bir bloktan geçmektedir. Son aşamada ise ağın giriş imgesi bu bloğun çıktısı ile toplanarak çıkış imgesi elde edilir. Bahsedilen blok, art arda farklı ölçekleme faktörü kullanan işlem birimlerinden oluşmaktadır. Önerilen model fastMRI veri kümesi ile eğitilmiş ve test edilmiştir. Model, sağlamlığını göstermek adına IXI veri kümesi ile de test edilmiştir. IUDN hem kendi içinde hem de literatürdeki diğer başarılı yöntemler ile karşılaştırılmıştır. Sonuçlar NMSE, PSNR ve SSIM metrikleri kullanılarak 4x ve 8x alt örnekleme faktörleri için iki test veri kümesi için de raporlanmıştır. Modelin işlem birimlerinin sayısı arttıkça başarısının da arttığını gözlenmiştir. Başarısının artmasının yanında parametre sayısı ve test süresi de artmaktadır. Bu analiz, bir grafik ile açıklanmıştır. Çoklu ölçekleme faktörünün etkisini görebilmek adına ağın tek ölçekleme faktörlü versiyonu da önerilmiştir. Test sonuçlarında iki ölçekleme faktörüne sahip IUDN tek ölçekleme faktörüne sahip versiyonuna göre daha yüksek başarımlara ulaşmıştır. IUDN ile literatürdeki diğer U-Net gibi yöntemlere kıyasla daha yüksek PSNR ve SSIM değerleri elde edilmiştir. Modelin istatistiksel önemi de ANOVA gibi yöntemler kullanılarak raporlanmıştır.

Özet (Çeviri)

The process of generating a high-resolution image from a low-resolution image is known as image super-resolution. From a low-resolution image, many high-resolution images can be produced. Therefore, super-resolution is a difficult problem with ill-posed nature. In recent years, many deep neural networks were suggested to retrieve missing high-frequency features. Models started to get deeper to enhance performance. But, using these models in devices with limited resources is challenging due to their high computational complexity and memory requirement. Therefore, in this thesis, different knowledge distillation schemes are suggested to compress super-resolution networks. Offline- and self-distillation frameworks are used to decrease the number of repeating residual blocks in SRResNet and EDSR networks. Test results are obtained on benchmark datasets for scale factor four. After many experiments, results show that previous layers learn to produce similar outputs to following layers. However, when redundant layers are removed, performance of the compressed networks are less than their vanilla trained versions. Therefore, further study on this subject is required to prevent performance decrease. Magnetic resonance imaging is a valuable tool in medicine to identify diseases. To obtain a high quality image, enough $k$-space data is needed. This increases the necessary scan time. As in other image processing fields, deep neural networks are also used in magnetic resonance image reconstruction task from undersampled data. Since super-resolution also aims to restore missing information, using some concepts from super-resolution can help improve reconstruction performance. In this study, Iterative Up and Down Network is proposed to solve this problem. Network benefits from iterative up and down sampling framework and multiple scale factors. Training of the network is done using fastMRI dataset. Test results are obtained on two datasets which are fastMRI and IXI. Proposed network has processing units and test results show that increasing the number of these units improve the performance of the network. Also, using multiple scale factors further increased the performance. Quantitative results show that suggested approach is superior than some well-known state-of-the-art networks. When qualitatively compared to other methods, suggested model performs favorably.

Benzer Tezler

  1. Tez No

    854307

    Derin öğrenme tabanlı süper çözünürlük teknikleri kullanarak JPEG sıkıştırma kaybının iyileştirilmesi

    Recovering JPEG compression loss via deep learning-based super resolution techniques

    MUHAMMET BOLAT

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilişim Uygulamaları Ana Bilim Dalı

    PROF. DR. LÜTFİYE DURAK ATA

    DR. NURULLAH ÇALIK

  2. Tez No

    866366

    Extreme low resolution video action recognition

    Aşırı düşük çözünürlüklü videolarda aksiyon tanıma

    OĞUZHAN OĞUZ

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. NAZLI İKİZLER CİNBİŞ

  3. Tez No

    905307

    Yüksek çözünürlüklü görüntülerde derin öğrenme tabanlı nesne tespiti için yeni bir önişleme yöntemi geliştirilmesi

    Development of a new preprocessing method for deep learning based object detection in high resolution images

    MUHAMMED TELÇEKEN

    Doktora

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. DEVRİM AKGÜN

    PROF. DR. SEZGİN KAÇAR

  4. Tez No

    315342

    Efficient techniques for the single-frame super-resolution reconstruction of intensity images

    Tek imgeden süper-çözünürlüklü geri-çatma amacıyla geliştirilmiş etkin yöntemler

    AYDIN AKYOL

    Doktora

    İngilizce

    İngilizce

    2012

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. MUHİTTİN GÖKMEN

  5. Tez No

    338325

    FPGA implementation of real time digital video superresolution for infrared cameras

    Kızılötesi kameralar için gerçek zamanlı sayısal video süper çözünürlük FPGA uygulaması

    MEHMET AKTUKMAK

    Yüksek Lisans

    İngilizce

    İngilizce

    2013

    Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. UĞUR HALICI

Geri Dön