Improved image generation in normalizing flows through a multi-scale architecture and variational training
Normalleştirici akım modellerinde çok-ölçekli mimari ve değişimsel eğitim ile geliştirilmiş resim üretimi
- Tez No: 764254
- Danışmanlar: DR. ÖĞR. ÜYESİ RAMAZAN GÖKBERK CİNBİŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 60
Özet
Generative models have been shown to be able to produce very high fidelity samples in natural image generation tasks in recent years, especially using generative adverserial network and denoising diffusion model based approaches. Normalizing flow models are another class of generative models, which are based on learning invertible mappings between the latent space and the image space. Normalizing flow models possess desirable features such as the ability to perform exact density estimation and simple maximum likelihood based training, which can offer theoretical guarantees. While the state-of-the-art normalizing flow models are able to produce high fidelity images on specific simple image generation tasks such as faces and bedrooms, they typically fail to produce sensible results in difficult natural image datasets containing a multitude of underlying classes. We propose an approach focused on improving natural image generation using a new normalizing flow model, in which we start by generating a small natural image and refine it step by step with conditional normalizing flow models performing 2x super-resolution. We also propose a new augmentation method at the feature level for conditional encodings to make the intermediate models in our cascade more robust against noise and artifacts coming previous levels of the cascade. This augmentation method has its roots in variational inference. We perform experiments on the CelebA and CIFAR-10 datasets, show our qualitative results and compare our generations with state-of-the-art approaches using the FID metric.
Özet (Çeviri)
Son yıllarda üretici modellerin doğal resim üretme görevlerinde yüksek kaliteli örnekler üretebildiği, özellikle üretici çekişmeli ağlar ve de yayınım modelleri kullanılarak gösterilmiştir. Normalleştirici akım modelleri diğer bir üretici model sınıfıdır ve resim uzayı ile saklı uzay arasında tersi olan bir fonksiyon öğrenmek üzerine kuruludurlar. Normalleştirici akım modellerinin kesin yoğunluk tahmini yapabilme ve teorik garantiler sağlayan basit en büyük olabilirlik temelli bir eğitime sahip olma gibi istenen özellikleri vardır. Fakat güncel olan en iyi normalleştirici akım modelleri insan yüzü ve yataklar gibi spesifik ve basit resimler içeren veri kümelerinde kaliteli üretici sonuçlar elde edebilmekle birlikte, tipik olarak birden fazla sınıf içeren karışık doğal resim içerikli veri kümelerinde makul sonuçlar üretememektedir. Bu tezde doğal resim içerikli veri kümelerinde üzerinde daha yüksek kaliteli örnekler üretmeyi amaçlayan yeni bir normalleştirici akım modeli öneriyoruz. Bu modelde ilk olarak basit bir normalleştirici akım modeli ile çok küçük çözünürlüklü bir resim üretip, ardından bu resmi 2x süper-çözünürlük uygulayan koşullu normalleştirici akım modelleri ile adım adım iyileştiriyoruz. Ayrıca modelimizdeki ara modelleri alt modellerden gelen resimlerde oluşabilecek hata ve gürültüye daha dayanıklı hale getirmek için öznitelik seviyesinde yeni bir veri artırma yöntemi öneriyoruz. Önerdiğimiz veri artırma yöntemi teorik köklerini değişimsel çıkarsamadan almaktadır. CelebA ve CIFAR-10 veri kümelerinde deneyler yapıp, nitel sonuçlarımızı gösteriyor ve bunları FID metriği ile güncel olan en iyi yöntemlerle karşılaştırıyoruz.
Benzer Tezler
- End-to-end learned image compression with normalizing flows for latent space enhancement
Normalize eden akışlar ile geliştirilen saklı uzay kullanılarak uçtan uca öğrenilmiş görüntü sıkıştırma
FATİH YAVUZ
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. FATİH KAMIŞLI
- Age and gender normalization in kinship verification
Akrabalık doğrulamasında yaş ve cinsiyet normalizasyonu
OĞUZHAN ÇALIKKASAP
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HAMDİ DİBEKLİOĞLU
- Improving classification performance of endoscopic images with generative data augmentation
Üretken veri çoğaltma ile endoskopi görüntülerinde sınıflandırma başarımının iyileştirilmesi
ÜMİT MERT ÇAĞLAR
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiModelleme ve Simülasyon Ana Bilim Dalı
PROF. DR. ALPTEKİN TEMİZEL
- A statistical framework for degraded underwater video generation
Bozulmuş sualtı video üretimi için istatistiksel bir yapı
SERKAN ŞATAK
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. BEHÇET UĞUR TÖREYİN
- Super-resolution image generation from earth observation satellites using generative adversarial networks
Çekişmeli üretici ağlar kullanılarak yer gözlem uydularından süper çözünürlüklü görüntü oluşturulması
EZGİ BURÇİN GAZEL BULUT
Yüksek Lisans
İngilizce
2022
Jeodezi ve FotogrametriHacettepe ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ ÖZGÜN OK