Style synthesizing conditional generative adversarial networks
Stil sentezleyici koşullu çekişmeli üretici ağlar
- Tez No: 612760
- Danışmanlar: DOÇ. DR. SELİM AKSOY, DR. ÖĞR. ÜYESİ RAMAZAN GÖKBERK CİNBİŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 75
Özet
Nöral sinir transfer modelleri, nöral ağlar kullanarak bir resmin içeriğini koruyarak, bu resme belirli bir sanatsal stili aktarmayı amaçlar. Stile özgün model ya da mimari gerektirmeden keyfi stiller aktarabilen modellere evrensel stil aktarımı (ESA) modelleri olarak bilnmektedir. ESA modelleri tipik olarak bir içerik ve stil resmini girdi olarak alıp, stillendirilmiş resmi çıktı olarak veririler. Bu nedenle, stil aktarımı için istenilen özelliklere sahip bir stil resminin bulunması gerekmektedir. Ancak bir stilin çeşitlemelerini ya da stillerin kombinasyonlarını aktarılması gereken uygulamalarda, buna uygun bir stil resmi bulunmayabilir ya da bulunması zor olabilir. Bu çalışmada, bir stil resmine gereksinim duymadan stil aktarımı yapabilen bir ağ sunuyoruz. Ağımız stil resmi yerine bir koşullandırma etiketi kabul etmekte ve stil transferini bu koşullandırmaya göre yapmaktadır. Koşullandırma etiketi birden çok stili barındırabilmektedir ve belirli bir etikete koşullandırılmış çeşitli stiller üretebilmektedir. Modelin tek bir koşul etiketiden birçok stile haritalamayı öğrenebilmesi gerekmektedir. Bu nedenle modelimiz, karmaşık ve çok modlu dağılımları gerçekçi bir şekilde üretebilen üretici çekişmeli ağlar (ÇÜA) üzerine kuruludur. Modelimiz girdi olarak istenilen stil sınıflarını belirten anlamsal bir koşullandırma vektörü alan ve stillendirmeyi yapmak için gerekli olan istatistkleri üreten bir koşullu çekişmeli üretici ağdır. Stil aktarımı yapabilmek amacıyla daha önceden geliştirilmiş, otokodlayıcı tabanlı bir stil aktarma modelini uyarlıyoruz. Bu model önce kodlayıcı ile içerik resminin evrişimsel öznitelik vektörlerini çıkartarak bunların üzerine ağartma dönüşümü uygulayarak çalışmaktadır. Daha sonra ağartılmış öznitelikler stil resminin öznitelikleriyle renklendirme dönüşünümüne sokularak stilr resminin kodları elde edilir ve son olarak kod çözücü, bu koddan stil aktarılmış resmi oluşturmak amacıyla kullanılır. Önerdiğimiz uyarlamada, kovaryans matrislerinin tam hallerini, aynı matrisin yalnızca köşegen elemanlarını kullanarak yakınsıyoruz. Aynı zamanda ÇÜA temelli modelimiz ile özniteliklerin istatistklerini direkt olarak üreterek modelin stil resmi girdisine olan ihtiyacını ortadan kaldırıyoruz. Eğitim ve doğrulama deneylerinde WikiArt verikümesinin bir alt kümesini kullanıyoruz. Hedeflenen stil istatistiklerinin yalnızca küçük bir bölümünü kullanan yakınsama metodumuzun, orijinal metotdan daha hızlı çalıştığını ve orijinal modelle benzer sonuçlar elde ettiğini gösteriyoruz. Aynı zamanda ÇÜA'nın geliştirdiğimiz gerçek stil resimlerine oldukça benzer, eğitim kümesinde bulunmayan stil kombinasyonları üretebildiğini göstermekteyiz.
Özet (Çeviri)
Neural style transfer (NST) models aim to transfer a particular visual style to a image while preserving its content using neural networks. Style transfer models that can apply arbitrary styles without requiring style-specific models or architectures are called universal style transfer (UST) models. Typically a UST model takes a content image and a style image as inputs and outputs the corresponding stylized image. It is, therefore, required to have a style image with the required characteristics to facilitate the transfer. However, in practical applications, where the user wants to apply variations of a style class or a mixture of multiple style classes, such style images may be difficult to find or simply non-existent. In this work we propose a conditional style transfer network which can model multiple style classes. While our model requires training examples (style images) for each class at training time, it does not require any style images at test time. The model implicitly learns the manifold of each style and is able to generate diverse stylization outputs corresponding to a single style class or a mixture of the available style classes. This requires the model to be able to learn one-to-many mappings, from an input single class label to multiple styles. For this reason, we build our model based on generative adversarial networks (GAN), which have been shown to generate realistic data in highly complex and multi-modal distributions in numerous domains. More specifically, we design a conditional GAN model that takes a semantic conditioning vector specifying the desired style class(es) and a noise vector as input and outputs the statistics required for applying style transfer. In order to achieve style transfer, we adapt a preexisting encoder-decoder based universal style transfer model. The encoder component extracts convolutional feature maps from the content image. These features are first whitened and then colorized using the statistics of the input style image. The decoder component then reconstructs the stylized image from the colorized features. In our adaptation, instead of using full covariance matrices, we approximate the whitening and coloring transforms using diagonal elements of the covariance matrices. We then remove the dependence to the input style image by learning to generate the statistics via our GAN model. In our experiments, we use a subset of the WikiArt dataset to train and validate our approach. We demonstrate that our approximation method achieves stylization results similar to the preexisting model but with higher speeds and using a fraction of target style statistics. We also show that our conditional GAN model leads to successful style transfer results by learning the manifold of styles corresponding to each style class. We additionally show that the GAN model can be used to generate novel style class combinations, which are highly correlated with the corresponding actual stylization results that are not seen during training.
Benzer Tezler
- Single sample style transfer learning for synthesizing handwriting
El yazısı üretimi için tek örnekle stil transfer öğrenimi
ÖZDENUR UÇAR
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YAKUP GENÇ
- Fahrelnissa Zeid'in sanat anlayışının Çağdaş Türk resim sanatındaki yeri ve etkileri
The place and effects of Fahrelnissa Zeid's understanding of art in contemporary Turkish painting
NİLAY AKBAYTÜRK
Yüksek Lisans
Türkçe
2024
Güzel SanatlarGiresun ÜniversitesiResim ve Baskı Sanatları Ana Sanat Dalı
PROF. DR. TOLGA AKALIN
- Kur'ânın anlaşılmasında kıraat farklılıkların etkisi: İbn Kesîr örneği-
The effect of the differences of qiraat on the understanding of the Qur'an: Example of Ibn Kasir
BEDRİ KAYSADU
Doktora
Türkçe
2023
DinVan Yüzüncü Yıl ÜniversitesiTemel İslam Bilimleri Ana Bilim Dalı
PROF. DR. HAYATİ AYDIN
- Kerim Korcan'ın hikâye ve romanlarında halk kültürü unsurlarının kullanımı
The use of folk culture in Kerim Korcan's novels and stories
NEŞE YÜCELER
Yüksek Lisans
Türkçe
2023
Türk Dili ve EdebiyatıErzurum Teknik ÜniversitesiTürk Dili ve Edebiyatı Ana Bilim Dalı
PROF. DR. YUSUF ZİYA SÜMBÜLLÜ
- Soyut sanat anlayışının güzel sanatlar fakülteleri resim anasanat dalları resim atölye derslerine yansımaları
The reflections of the abstract art consept to the painting courses of the fine arts faculties painting art majors
SÜMEYRA GÖKTEPELİ
Yüksek Lisans
Türkçe
2020
Güzel SanatlarSelçuk ÜniversitesiResim Ana Sanat Dalı
PROF. DR. AHMET DALKIRAN