Unpaired image-to-image translation with learnable tokens in diffusionGAN
DiffusionGAN ile öğrenebilir belirteçler kullanarak eşleştirilmemiş görüntü dönüşümü
- Tez No: 925852
- Danışmanlar: PROF. DR. YÜCEL YEMEZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 59
Özet
Kararlı Difüzyon modelleri (Stable Diffusion) , görüntü sentezi alanında önemli bir dönüm noktası oluşturarak, daha önce Üretken Rekabetçi Ağlar (GAN) tarafından elde edilen sonuçları geride bırakmıştır. GAN'ların eğitim sürecindeki istikrarsızlık sorunları, Kararlı Difüzyon'un daha etkili bir alternatif olmasını sağlamıştır. Bu çalışmada, görüntüden görüntüye çeviri için hem Kararlı Difüzyon'un güçlü yönlerini hem de GAN'ların eğitim paradigmasını bir araya getiren yeni bir mimari önermekteyiz. Önerilen yeni model, önceden eğitilmiş Kararlı Difüzyon modelini kullanarak, metin belirteçleri ve bir ayırıcı (Discriminator) sayesinde sıfırdan eğitim gerektirmeden, farklı uzaylar arasında dönüşüm yapabilmektedir. Bu durum, önceden belirlenmiş metin istemlerine olan ihtiyacı ortadan kaldırmakta ve model, denetimsiz bir ortamda daha esnek bir şekilde öğrenme yeteneği kazanmaktadır. Tezimizde, modelin ürettiği yüksek kaliteli görüntülerle birlikte, gelecekteki çalışmalar için potansiyel iyileştirme alanlarını tartışıyoruz.
Özet (Çeviri)
Stable Diffusion models have recently achieved outstanding results in image generation tasks, surpassing prior state-of-the-art models based on Generative Adversarial Networks (GANs). While GANs were computationally efficient, their training stability often posed challenges. We introduce a novel framework that seeks to combine the strengths of both Stable Diffusion and GAN architectures for unpaired image-to-image translation. Our approach avoids the need for training Stable Diffusion from scratch by using pretrained token embeddings and a discriminator within a GAN-like training paradigm. This eliminates the requirement for pre-specified text prompts, as the framework learns suitable prompts through embeddings to perform domain-to-domain translation in an unsupervised setting. We show high-quality images generated by our framework and discuss promising possible ways for future enhancements.
Benzer Tezler
- Correction of artifacts in formalin-fixed paraffin-embedded tissue section images with contrastive unpaired image-to-image translation
Başlık çevirisi yok
MOHAMAD KASSAB
Yüksek Lisans
İngilizce
2022
BiyomühendislikBoğaziçi ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
DOÇ. DR. ESİN ÖZTÜRK IŞIK
DR. ÖĞR. ÜYESİ MEHMET TURAN
- Rigid pavement crack detection utilizing generative adversarial networks
Beton yollarda çekişmeli üretici ağlar kullanarak yol çatlak tespiti
TANNER WAMBUI MUTURI
Yüksek Lisans
İngilizce
2023
İnşaat MühendisliğiOrta Doğu Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. ONUR PEKCAN
- Novel deep learning algorithms for multi-modal medical image synthesis
Çok-kipli tıbbi görüntü sentezi için yeni derin öğrenme algoritmaları
ONAT DALMAZ
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. TOLGA ÇUKUR
- Learning portrait drawing of face photos from unpaired data with unsupervised landmarks
Denetlenmeyen yer işaretleriyle eşleştirilmemiş verilerden yüz fotoğrafının portre çizimini öğrenme
BURAK TAŞDEMİR
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AYŞEGÜL DÜNDAR BORAL
- Unsupervised image to image translation from short wave infrared (SWIR) to red-green-blue (RGB) images
Short wave infrared (SWIR) görüntülerden red-green-blue (RGB) görüntülerine denetimsiz çeviri
DUYGU TAŞBAŞ
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HACER YALIM KELEŞ