Geri Dön

Unpaired image-to-image translation with learnable tokens in diffusionGAN

DiffusionGAN ile öğrenebilir belirteçler kullanarak eşleştirilmemiş görüntü dönüşümü

PDF İndir

  1. Tez No: 925852
  2. Yazar: EGE DİNÇER
  3. Danışmanlar: PROF. DR. YÜCEL YEMEZ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: Koç Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Kararlı Difüzyon modelleri (Stable Diffusion) , görüntü sentezi alanında önemli bir dönüm noktası oluşturarak, daha önce Üretken Rekabetçi Ağlar (GAN) tarafından elde edilen sonuçları geride bırakmıştır. GAN'ların eğitim sürecindeki istikrarsızlık sorunları, Kararlı Difüzyon'un daha etkili bir alternatif olmasını sağlamıştır. Bu çalışmada, görüntüden görüntüye çeviri için hem Kararlı Difüzyon'un güçlü yönlerini hem de GAN'ların eğitim paradigmasını bir araya getiren yeni bir mimari önermekteyiz. Önerilen yeni model, önceden eğitilmiş Kararlı Difüzyon modelini kullanarak, metin belirteçleri ve bir ayırıcı (Discriminator) sayesinde sıfırdan eğitim gerektirmeden, farklı uzaylar arasında dönüşüm yapabilmektedir. Bu durum, önceden belirlenmiş metin istemlerine olan ihtiyacı ortadan kaldırmakta ve model, denetimsiz bir ortamda daha esnek bir şekilde öğrenme yeteneği kazanmaktadır. Tezimizde, modelin ürettiği yüksek kaliteli görüntülerle birlikte, gelecekteki çalışmalar için potansiyel iyileştirme alanlarını tartışıyoruz.

Özet (Çeviri)

Stable Diffusion models have recently achieved outstanding results in image generation tasks, surpassing prior state-of-the-art models based on Generative Adversarial Networks (GANs). While GANs were computationally efficient, their training stability often posed challenges. We introduce a novel framework that seeks to combine the strengths of both Stable Diffusion and GAN architectures for unpaired image-to-image translation. Our approach avoids the need for training Stable Diffusion from scratch by using pretrained token embeddings and a discriminator within a GAN-like training paradigm. This eliminates the requirement for pre-specified text prompts, as the framework learns suitable prompts through embeddings to perform domain-to-domain translation in an unsupervised setting. We show high-quality images generated by our framework and discuss promising possible ways for future enhancements.

Benzer Tezler

  1. Tez No

    753261

    Correction of artifacts in formalin-fixed paraffin-embedded tissue section images with contrastive unpaired image-to-image translation

    Başlık çevirisi yok

    MOHAMAD KASSAB

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    BiyomühendislikBoğaziçi Üniversitesi

    Biyomedikal Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ESİN ÖZTÜRK IŞIK

    DR. ÖĞR. ÜYESİ MEHMET TURAN

  2. Tez No

    829228

    Novel deep learning algorithms for multi-modal medical image synthesis

    Çok-kipli tıbbi görüntü sentezi için yeni derin öğrenme algoritmaları

    ONAT DALMAZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TOLGA ÇUKUR

  3. Tez No

    789600

    Rigid pavement crack detection utilizing generative adversarial networks

    Beton yollarda çekişmeli üretici ağlar kullanarak yol çatlak tespiti

    TANNER WAMBUI MUTURI

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    İnşaat MühendisliğiOrta Doğu Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ONUR PEKCAN

  4. Tez No

    972067

    Domain adaptive visual inertial global localization in GNSS-denied environments

    GNSS olmayan ortamlarda görüntü uyarlamalı görsel-ataletsal küresel konum belirleme

    ABDÜLBAKİ ŞANLAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Uçak Mühendisliğiİstanbul Teknik Üniversitesi

    Uçak ve Uzay Mühendisliği Ana Bilim Dalı

    DOÇ. DR. EMRE KOYUNCU

  5. Tez No

    1010306

    Kütle tasarımı çalışmaları için yapay zeka tabanlı artırılmış gerçeklik

    Ai-based augmented reality for mass design studies

    SÜHEYLA MÜGE HALICI

    Doktora

    Türkçe

    Türkçe

    2026

    Mimarlıkİstanbul Teknik Üniversitesi

    Bilişim Ana Bilim Dalı

    PROF. DR. LEMAN FİGEN GÜL

Geri Dön