Geri Dön

GAN inversion based image manipulation with text-guided encoders

Metin yönlendirmeli kodlayıcılar ile GAN ters çevirme tabanlı görsel manipülasyonu

PDF İndir

  1. Tez No: 774135
  2. Yazar: AHMET CANBERK BAYKAL
  3. Danışmanlar: PROF. DR. DENİZ YURET, PROF. DR. İBRAHİM AYKUT ERDEM
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: Koç Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 74

Özet

Stil Temelli Çekişmeli Üretici Ağlar (StyleGAN), çözülmüş örtülü uzayları öğrenirken çok yüksek kaliteli görüntü sentezini mümkün kılar. Bu nedenle, örtülü uzay manipülasyonu ile anlamsal görüntü düzenlemeye odaklanan birçok yeni çalışma vardır. Özellikle öne çıkan bir alan, görselleri metinsel açıklamalara göre düzenlemektir. Mevcut çalışmalar, bu probleme ya çok verimli olmayan örnek düzeyinde örtülü vektör optimizasyonu gerçekleştirerek ya da önceden tanımlanmış metin istemlerini örtülü uzaydaki düzenleme yönergelerine eşleyerek yaklaşırlar. Buna karşılık, bu tez çalışmasında metinsel tanımlamalar tarafından yönlendirilen görüntü düzenlemeyi sağlayan iki yeni yaklaşım sunuyoruz. Yöntemlerimiz, bir artık örtülü vektörü ileribildirim ile tahmin eden bir metin koşullu kodlayıcı ağı ya da metin koşullu bağdaştırıcı ağı kullanır. Hem nicel hem de nitel sonuçlar, yöntemlerimizin manipülasyon isabeti açısından rakip yöntemlerden daha iyi performans gösterdiğini, yani sentezlenen görsellerin metinsel açıklamalarla ne kadar iyi uyuştuğunu ve son derece gerçekçi sonuçlar sağlarken orijinal görselin özelliklerini koruduğunu göstermektedir. Aynı zamanda, yöntemimizin insan yüzleri, kediler ve kuşlar dahil olmak üzere çeşitli görsel alanlara genellenebileceğini de gösteriyoruz.

Özet (Çeviri)

Style-based Generative adversarial networks (StyleGAN) enable very high quality image synthesis while learning disentangled latent spaces. Hence, there is a lot of recent work focusing on semantic image editing by latent space manipulation. A particularly emerging field is editing images based on target textual descriptions. Existing approaches tackle this problem either by performing instance-level latent code optimization which is not very efficient or by mapping predefined text prompts to editing directions in the latent space. In contrast, in this thesis work, we present two novel approaches that enable image editing guided by textual descriptions. Our idea is to use either a text-conditioned encoder network or a text-conditioned adapter network that predicts a residual latent code in a feed forward manner. Both quantitative and qualitative results demonstrate that our methods outperform competing approaches in terms of manipulation accuracy, i.e., how well the synthesized images match the textual descriptions while ensuring highly realistic results and preserving features of the original image. We also demonstrate that our method can generalize to various domains including human faces, cats, and birds.

Benzer Tezler

  1. Tez No

    730994

    Data augmentation on chest X-rays for improving pathology classification performance

    Patoloji sınıflandırma performansını geliştirmek için göğüs X-ray filmlerinde veri çoğaltma

    ONUR ADIGÜZEL

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. LALE AKARUN ERSOY

    DR. PINAR YANARDAĞ

  2. Tez No

    774139

    Domain-adaptive self-supervised pre-training for face & body detection in drawings

    Başlık çevirisi yok

    BARIŞ BATUHAN TOPAL

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TEVFİK METİN SEZGİN

  3. Tez No

    693920

    Generation and modification of 3D models with deep neural networks

    Derin sinir ağları kullanılarak 3B modellerın üretilmesi ve düzenlenmesi

    CİHAN ÖNGÜN

    Doktora

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilişim Sistemleri Ana Bilim Dalı

    PROF. DR. ALPTEKİN TEMİZEL

  4. Tez No

    297740

    Photo-dynamic XPS for investigating photoinduced voltage changes in semiconducting materials

    Işık altında yarıiletken malzemelerin üzerinde oluşan voltaj yüklenmelerinin foto-dinamik XPS ile incelenmesi

    HİKMET SEZEN

    Doktora

    İngilizce

    İngilizce

    2011

    Kimyaİhsan Doğramacı Bilkent Üniversitesi

    Kimya Bölümü

    PROF. DR. ŞEFİK SÜZER

  5. Tez No

    430270

    X-band cpw high power amplifier design by GaN based MMIC technology

    GaN tabanlı MMIC teknolojisi kullanılarak x-bantta yüksek güçlü yükselteç tasarımı

    BURAK ALPTUĞ YILMAZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2016

    Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. EKMEL ÖZBAY

Geri Dön