HyperGAN-CLIP: A versatile framework for CLIP-guided imagesynthesis and editing using hypernetworks
HyperGAN-CLIP: A versatile framework for CLIP-guided ımagesynthesis and editing using hypernetworks
- Tez No: 816985
- Danışmanlar: PROF. DR. DENİZ YURET, DOÇ. DR. İBRAHİM AYKUT ERDEM
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Bilimi ve Mühendisliği Bilim Dalı
- Sayfa Sayısı: 76
Özet
Generative Adversarial Networks, özellikle StyleGAN ve farklı türkri, son derece gerçekçi görüntüler oluşturmada olağanüstü bir yetenek göstermiştir. Bununla birlikte, bu modellerin eğitimi, genellikle büyük veri kümeleri gerektirdiğinden, verilerin az olduğu alanlarda zor olmaya devam etmektedir. Bu tez çalışmasında, yalnızca az sayıda eğitim örneği kullanıldığında bile alan uyarlaması, referans kılavuzlu görüntü sentezi ve metin kılavuzlu görüntü manipülasyonu dahil olmak üzere çeşitli görevler için önceden eğitilmiş bir StyleGAN'ın yeteneklerini artıran çok yönlü bir çerçeve yöntemi sunuyoruz. Bunu, hiper ağlar kullanarak CLIP alanını StyleGAN üretecine entegre ederek başarmaktayiz. Bu hiper ağlar, önceden eğitilmiş StyleGAN'ın bir referans görüntü veya metinsel bir açıklama ile tanımlanan belirli alanlara etkili bir şekilde uygulanmasını sağlayan dinamik uyarlanabilirlik sağlar. Sentezlenmiş görüntüler ile hedef alan arasındaki uyumu daha da iyileştirmek için, yüksek kaliteli görüntülerin üretilmesini sağlayan CLIP kılavuzlu bir ayırıcı sunuyoruz. Özellikle, yaklaşımımız kayda değer bir esneklik ve ölçeklenebilirlik göstererek, metinsiz eğitim ve iki görüntü arasında kesintisiz stil aktarımıyla metin kılavuzluğunda görüntü manipülasyonuna olanak tanır. Kapsamlı niteliksel ve niceliksel deneyler yoluyla, performans açısından mevcut yöntemleri geride bırakarak yaklaşımımızın sağlamlığını ve etkililiğini ortaya koymekteyiz.
Özet (Çeviri)
Generative Adversarial Networks, particularly StyleGAN and its variants, have shown exceptional capability in generating highly realistic images. However, training these models remains challenging in domains where data is scarce, as it typically requires large datasets. In this thesis work, we introduce a versatile framework that enhances the capabilities of a pre-trained StyleGAN for various tasks, including domain adaptation, reference-guided image synthesis, and text-guided image manipulation even when only a small number of training sample are available. We achieve this by integrating the CLIP space into the generator of StyleGAN using hypernetworks. These hypernetworks introduce dynamic adaptability, enabling the pre-trained StyleGAN to be effectively applied to specific domains described by either a reference image or a textual description. To further improve the alignment between the synthesized images and the target domain, we introduce a CLIP-guided discriminator, ensuring the generation of high-quality images. Notably, our approach shows remarkable flexibility and scalability, enabling text-guided image manipulation with text-free training and seamless style transfer between two images. Through extensive qualitative and quantitative experiments, we validate the robustness and effectiveness of our approach, surpassing existing methods in terms of performance.
Benzer Tezler
- Sıfır AS'lı ikinci harmonik pompalamalı 5.8GHz mosfet karıştırıcı tasarımı
Design of a second harmonically pumped zero-if mosfet mixer at 5.8GHz
MEHMET KAYHAN
Yüksek Lisans
Türkçe
2007
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF.DR. OSMAN PALAMUTÇUOĞULLARI
- Hypergraflar ile çoklu atama probleminin çözümü
Solution of multi assignment problems with hypergraf
MİNE OTAMIŞ
Yüksek Lisans
Türkçe
2016
MatematikMuğla Sıtkı Koçman ÜniversitesiMatematik Ana Bilim Dalı
YRD. DOÇ. DR. MEHMET ALİ BALCI