Style synthesizing conditional generative adversarial networks
Stil sentezleyici koşullu çekişmeli üretici ağlar
- Tez No: 612760
- Danışmanlar: DOÇ. DR. SELİM AKSOY, DR. ÖĞR. ÜYESİ RAMAZAN GÖKBERK CİNBİŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Sanal görüntü, Sayısal görüntü analizi, Virtual image, Digital image analysis
- Yıl: 2020
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Nöral sinir transfer modelleri, nöral ağlar kullanarak bir resmin içeriğini koruyarak, bu resme belirli bir sanatsal stili aktarmayı amaçlar. Stile özgün model ya da mimari gerektirmeden keyfi stiller aktarabilen modellere evrensel stil aktarımı (ESA) modelleri olarak bilnmektedir. ESA modelleri tipik olarak bir içerik ve stil resmini girdi olarak alıp, stillendirilmiş resmi çıktı olarak veririler. Bu nedenle, stil aktarımı için istenilen özelliklere sahip bir stil resminin bulunması gerekmektedir. Ancak bir stilin çeşitlemelerini ya da stillerin kombinasyonlarını aktarılması gereken uygulamalarda, buna uygun bir stil resmi bulunmayabilir ya da bulunması zor olabilir. Bu çalışmada, bir stil resmine gereksinim duymadan stil aktarımı yapabilen bir ağ sunuyoruz. Ağımız stil resmi yerine bir koşullandırma etiketi kabul etmekte ve stil transferini bu koşullandırmaya göre yapmaktadır. Koşullandırma etiketi birden çok stili barındırabilmektedir ve belirli bir etikete koşullandırılmış çeşitli stiller üretebilmektedir. Modelin tek bir koşul etiketiden birçok stile haritalamayı öğrenebilmesi gerekmektedir. Bu nedenle modelimiz, karmaşık ve çok modlu dağılımları gerçekçi bir şekilde üretebilen üretici çekişmeli ağlar (ÇÜA) üzerine kuruludur. Modelimiz girdi olarak istenilen stil sınıflarını belirten anlamsal bir koşullandırma vektörü alan ve stillendirmeyi yapmak için gerekli olan istatistkleri üreten bir koşullu çekişmeli üretici ağdır. Stil aktarımı yapabilmek amacıyla daha önceden geliştirilmiş, otokodlayıcı tabanlı bir stil aktarma modelini uyarlıyoruz. Bu model önce kodlayıcı ile içerik resminin evrişimsel öznitelik vektörlerini çıkartarak bunların üzerine ağartma dönüşümü uygulayarak çalışmaktadır. Daha sonra ağartılmış öznitelikler stil resminin öznitelikleriyle renklendirme dönüşünümüne sokularak stilr resminin kodları elde edilir ve son olarak kod çözücü, bu koddan stil aktarılmış resmi oluşturmak amacıyla kullanılır. Önerdiğimiz uyarlamada, kovaryans matrislerinin tam hallerini, aynı matrisin yalnızca köşegen elemanlarını kullanarak yakınsıyoruz. Aynı zamanda ÇÜA temelli modelimiz ile özniteliklerin istatistklerini direkt olarak üreterek modelin stil resmi girdisine olan ihtiyacını ortadan kaldırıyoruz. Eğitim ve doğrulama deneylerinde WikiArt verikümesinin bir alt kümesini kullanıyoruz. Hedeflenen stil istatistiklerinin yalnızca küçük bir bölümünü kullanan yakınsama metodumuzun, orijinal metotdan daha hızlı çalıştığını ve orijinal modelle benzer sonuçlar elde ettiğini gösteriyoruz. Aynı zamanda ÇÜA'nın geliştirdiğimiz gerçek stil resimlerine oldukça benzer, eğitim kümesinde bulunmayan stil kombinasyonları üretebildiğini göstermekteyiz.
Özet (Çeviri)
Neural style transfer (NST) models aim to transfer a particular visual style to a image while preserving its content using neural networks. Style transfer models that can apply arbitrary styles without requiring style-specific models or architectures are called universal style transfer (UST) models. Typically a UST model takes a content image and a style image as inputs and outputs the corresponding stylized image. It is, therefore, required to have a style image with the required characteristics to facilitate the transfer. However, in practical applications, where the user wants to apply variations of a style class or a mixture of multiple style classes, such style images may be difficult to find or simply non-existent. In this work we propose a conditional style transfer network which can model multiple style classes. While our model requires training examples (style images) for each class at training time, it does not require any style images at test time. The model implicitly learns the manifold of each style and is able to generate diverse stylization outputs corresponding to a single style class or a mixture of the available style classes. This requires the model to be able to learn one-to-many mappings, from an input single class label to multiple styles. For this reason, we build our model based on generative adversarial networks (GAN), which have been shown to generate realistic data in highly complex and multi-modal distributions in numerous domains. More specifically, we design a conditional GAN model that takes a semantic conditioning vector specifying the desired style class(es) and a noise vector as input and outputs the statistics required for applying style transfer. In order to achieve style transfer, we adapt a preexisting encoder-decoder based universal style transfer model. The encoder component extracts convolutional feature maps from the content image. These features are first whitened and then colorized using the statistics of the input style image. The decoder component then reconstructs the stylized image from the colorized features. In our adaptation, instead of using full covariance matrices, we approximate the whitening and coloring transforms using diagonal elements of the covariance matrices. We then remove the dependence to the input style image by learning to generate the statistics via our GAN model. In our experiments, we use a subset of the WikiArt dataset to train and validate our approach. We demonstrate that our approximation method achieves stylization results similar to the preexisting model but with higher speeds and using a fraction of target style statistics. We also show that our conditional GAN model leads to successful style transfer results by learning the manifold of styles corresponding to each style class. We additionally show that the GAN model can be used to generate novel style class combinations, which are highly correlated with the corresponding actual stylization results that are not seen during training.
Benzer Tezler
- Tekstil boyamacılığında atık flottede boyama imkanları üzerine araştırma
Başlık çevirisi yok
MEHMET YAKARTEPE
Yüksek Lisans
Türkçe
1985
Tekstil ve Tekstil MühendisliğiEge ÜniversitesiTekstil Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. KERİM DURAN
- Türkiye trafik düzeninde kazaların azaltılması açısından yeni trafik kanunu uygulaması ile ilgili sorunlar ve çözüm yolları
Başlık çevirisi yok
ERDAL UÇAR
Yüksek Lisans
Türkçe
1986
UlaşımGazi ÜniversitesiKazaların Çevresel ve Teknik Araştırması Ana Bilim Dalı (disiplinlerarası)
PROF. DR. RIDVAN EGE
- İzmir pazarlarında satılan taze köy peynirlerinin bazı nitelikleri ve özellikle zehirlenmeye neden olan bakteri içerikleri üzerinde araştırmalar
Başlık çevirisi yok
NURSEL VAPURCU
Yüksek Lisans
Türkçe
1985
Gıda MühendisliğiEge ÜniversitesiSüt Teknolojisi Ana Bilim Dalı
DOÇ. DR. HASAN YAYGIN
- Geleneksel Beypazarı konutlarında baş odanın günümüz ihtiyaçlarını karşılayacak düzende donatılması
The Redecoration of the“Baş Oda”in Beypazarı traditional houses according to our today's needs
AYNUR ÖZMEN
Yüksek Lisans
Türkçe
1987
MimarlıkGazi ÜniversitesiBina Bilgisi (mimari Tasarım) Ana Bilim Dalı
DOÇ. DR. MUAMMER HACIBALOĞLU
- Sürücülerde kandaki alkol miktarı ile trafik kazası arası ilişki
Başlık çevirisi yok
Z.SEMRA GÜMRÜKÇÜ
Yüksek Lisans
Türkçe
1986
UlaşımGazi ÜniversitesiKazaların Çevresel ve Teknik Araştırması Ana Bilim Dalı (disiplinlerarası)
PROF. DR. RIDVAN EGE
- Çeşitli rib örgülerin boyutsal özellikleri üzerine bazı araştırmalar
Başlık çevirisi yok
ARZU YAĞCI
Yüksek Lisans
Türkçe
1986
Tekstil ve Tekstil MühendisliğiEge ÜniversitesiTekstil Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ARİF KURBAK