Multi-model and multi-stage learned image super-resolution
Çoklu model ve çoklu eğitim ile öğrenilen süper çözünürlük
- Tez No: 771763
- Danışmanlar: DR. ÖĞR. ÜYESİ ZAFER DOĞAN, PROF. DR. AHMET MURAT TEKALP
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 56
Özet
Görüntü işleme modeli belirli bir görev için eğitildiğinde, modelin performansı eğitim kümesideki görüntü modellerinin test kümesindekilerle ne kadar iyi eşleştiğine bağlı olarak büyük ölçüde değişmektedir. Bu nedenle, tek bir genel model tarafından öğrenilen görüntü karakteristikleri, farklı görüntü sınıfları için yeterince genellenemez. Ayrıca, uçtan uca eğitilmiş modeller, görüntü işleme problemlerinde eğitim kümesinde görülen bozunma modeline fazla uyum sağlar ve diğer bozulma türlerine iyi genelleme yapamazlar. Bu nedenle, bu tezde görüntü süper çözünürlüğünü (SÇ) ele alıyoruz ve bozunma çekirdeği hakkında önceki bilgilere dayanarak iki alana kategorize ediyoruz. İlk olarak, bozunma çekirdeği bilindiğinde ve eğitim seti farklı görüntü sınıflarını içerdiğinde, daha iyi görsel sonuçlar elde etmek için bir toplu model öğretmesini önerdik. Buna göre, sınıfa özgü görüntü karakteristiklerinden yararlanmak için farklı görüntü sınıflarına uygun SÇ öğrenmesi gerçekleştirdik. Bu çoklu SÇ modellerinin çıktılarının en iyi şekilde nasıl birleştirileceğini öğrenen bir son işlem modelinin kullanılmasının SÇ performansını daha iyiye taşıdığını gösteriyoruz. Hem homojen desenlere sahip görüntüler (örneğin, saf metin veya saf doku görüntüleri) hem de homojen olmayan, uzamsal olarak değişen özelliklere sahip görüntüler (örneğin, hem metin hem de doku içeren görüntüler) için son teknoloji SÇ modellerinden daha iyi sonuçlar elde ediyoruz. Ayrıca, homojen desenlere sahip görüntüler için füzyon modelinin sınıfa özel eğitimini ve homojen olmayan desenlere sahip görüntüler için de füzyon modelinin genel uçtan uca eğitimini öneriyoruz. Deneysel sonuçlarımız, önceden eğitilmiş birçok SÇ modeli ve genel bir füzyon modeli ile önerilen çoklu model SÇ (MMSR) yaklaşımının, hem nicel hem de görsel olarak önceden eğitilmiş tek bir EDSR modelinden önemli ölçüde daha iyi performans gösterdiğini göstermektedir. Önerdiğimiz MMSR modeli, benzer metin veya doku görüntüleri üzerinde eğitilmiş en iyi tek sınıfa özel EDSR modelinin performansından da daha iyi sonuçlar vermektedir. İkinci olarak, bozulma bilinmeyen gerçek dünya düşük çözünürlük görüntüleri verilirse, bu tür görüntüleri başarılı bir şekilde iyileştirmek için daha kolay takip edilen ve anlaşılan bir alan dönüştürülmesi ve daha sonrasında bu alandan SÇ modelinin öğrenilmesi direkt olarak bilinmeyen bozulmalı düşük çözünürlük resimlernden SÇ modelinin öğrenilmesinden daha iyi sonuçlar verdiğini göstermekteyiz. Ayrıca, en iyi ara alan transformasyonu görüntü problemine göre değişebilir. Deneysel sonuçlarımız, bu iki aşamalı alana uyarlanmış eğitim stratejisinin yalnızca belirli bir bilinmeyen bozulma sınıfında daha iyi sonuçlar elde etmekle kalmayıp, aynı zamanda diğer görünmeyen bozulma sınıflarına daha iyi genelleştirebileceğini göstermektedir.
Özet (Çeviri)
When an image processing model is trained for a given task on a training set, the performance of the model varies noticeably over the test set from image to image depending on how well the image patterns in the training set match to those in the test set. Hence, image priors learned by a single generic model cannot generalize well enough for different classes of images. In addition, end-to-end trained networks overfit to the degradation model seen in the training set in inverse problems and they do not generalize to other types of degradations well. Therefore, in this thesis, we consider inverse problems specifically image super-resolution (SR) from a big picture perspective and categorize it into two sub-fields based on the prior information about the degradation kernel. First, once the degradation kernel is known but the training set contains varying classes, we propose an ensemble network for obtaining better visual results. Accordingly, we show that training multiple deep models for an SR task for different classes of images to exploit class-specific image priors and employing a post-processing network that learns how to best fuse the outputs of these multiple SR models surpasses the performance of state-of-the-art single SR models for both images with homogeneous patterns (e.g., pure text or pure texture images) and images with non-homogeneous, spatially-varying characteristics (e.g., images with both text and texture). Furthermore, we propose class-specific training of the fusion model for images with homogeneous patterns and generic end-to-end training of fusion model for images with non-homogeneous patterns. Our experimental results demonstrate that the proposed multiple-model SR (MMSR) approach with a set of pre-trained models and a generic fusion model significantly outperforms a single pre-trained EDSR model both quantitatively and visually. It even exceeds the performance of the best single class-specific EDSR model trained on similar text or texture images. Second, if real-world LR images with unknown degradation is given, an approach to first map images downsampled by unknown filters to bicubicly downsampled look-alike images was proposed to successfully super-resolve such images. In the second part of this thesis, we show that any inverse problem can be formulated by first mapping the input degraded images to an intermediate domain, and then training a second network to form output images from these intermediate images. Specifically, two-stage SR with x2 mapping without intermediate training (i.e., without seeing the Cannon and Nikon training data) performs much better than two-stage SR with the same resolution mapping w/o intermediate training and as good as with intermediate training, which sees the respective training sets. Furthermore, the best intermediate domain may vary according to the task. Our experimental results demonstrate that this two-stage domain-adapted training strategy does not only achieve better results on a given class of unknown degradations but can also generalize to other unseen classes of degradations better.
Benzer Tezler
- Yapay sinir ağları ile optik karakter tanıma
Optical character recognition with artificial neural network
MURATCAN UZTEMUR
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. AFİFE LEYLA GÖREN SÜMER
- Video deinterlacing and demosaicing by deep learning
Derin öğrenme ile video binisimsizlestirme ve demozaikleme
RONGLEI JI
Doktora
İngilizce
2024
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET MURAT TEKALP
- Federated MRI reconstruction with deep generative models
Derin üretken modeller ile federe MRG rekonstrüksiyonu
GÖKBERK ELMAS
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. TOLGA ÇUKUR
- Mimari tasarımda yapay zekâ yaklaşımı: Makine öğrenmesi ile mekân işlevlerinin tanınması ve üretken çekişmeli ağlarla mimari plan üretimi
Artificial intelligence approach in architectural design: Recognition of space functions with machine learning and architectural plan generation with generative adversarial networks
BERFİN YILDIZ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilişim Ana Bilim Dalı
PROF. DR. GÜLEN ÇAĞDAŞ
DR. ÖĞR. ÜYESİ İBRAHİM ZİNCİR
- Görüntü sınıflandırmada yineleyen derin ağ ve görü dönüştürücü modellerinin karşılaştırılması
Comparison of recurrent deep network and vision transformer models in image classification
OĞUZHAN BUBO
Yüksek Lisans
Türkçe
2023
Elektrik ve Elektronik MühendisliğiSakarya ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BURHAN BARAKLI