Üretken çekişmeli ağ tabanlı tek görüntü üretim modellerinin tasarımı
Design of single image generation models based on generative adversarial networks
- Tez No: 865196
- Danışmanlar: DOÇ. DR. SELÇUK SEVGEN, DOÇ. DR. MEHMET ERKAN YÜKSEL
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Tek Görüntü Üretimi, Üretken Çekişmeli Ağlar, Derin Öğrenme, Özdikkat mekanizması, DenseNet, ALI, Görüntü manipülasyonu, Single Image Generation, Generative Adversarial Networks, Deep Learning, SelfAttention, DenseNet, ALI, Image Manipulation
- Yıl: 2024
- Dil: Türkçe
- Üniversite: İstanbul Üniversitesi-Cerrahpaşa
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 140
Özet
Üretken Çekişmeli Ağ (ÜÇA)'lar kullanılarak tek bir doğal görüntüden görüntü üretimi, ÜÇA modellerinin foto-gerçekçi görüntüler üretmedeki yetenekleri ve bilgisayar görüsündeki potansiyel uygulamaları nedeniyle son zamanlarda yoğun ilgi çekmektedir. Bu tez çalışmasında, tek bir doğal eğitim görüntüsüne dayalı gerçekçi, yüksek kaliteli, farklı görüntü örnekleri üreten iki yeni koşulsuz ÜÇA modeli önerilmiş ve gerçeklenmiştir. Model 1, tek eğitim görüntüsü özelliklerini öğrenebilmek amacıyla hem üretici hem de ayırıcı sinir ağlarında öz-dikkat mekanizması, yoğun bağlantılı blok mimarisi ve gradyan cezalı göreceli ortalama en küçük kareler ÜÇA kayıp fonksiyonu bileşenlerinden yararlanmaktadır. Model 2, tek eğitim görüntüsünün gizli gösterim bilgisini etkili şekilde öğrenmektedir. Öğrenilen gizli gösterim kullanılarak Model 2 için özgün bir eğitim süreci geliştirilmiştir. Önerilen ÜÇA modellerinin performanslarını test etmek ve kapasitelerini göstermek amacıyla literatürde iyi bilinen tek görüntü ÜÇA modelleriyle nicel ve nitel karşılaştırmalar gerçekleştirilmiştir. Karşılaştırmalar, Places, LSUN ve ImageNet veri kümeleri üzerinde, görüntü kalitesini ve çeşitliliğini ölçen nicel ölçüm metrikleri kullanılarak; görüntü gerçekçiliğini ölçek amacıyla nitel kullanıcı çalışmaları oluşturularak yapılmıştır. Ek olarak önerilen ÜÇA modelleri görüntü manipülasyon uygulamalarında test edilmiştir. Yapılan deneylerde, önerilen ÜÇA modellerinin etkin parametre verimliliğine sahip olduğu, aşırı uyumu önlediği, karmaşık yapı ve dokulara sahip eğitim görüntülerin dahili yama istatistiklerini öğrenebildiği, tek görüntü üretim görevlerinde karşılaştırılabilir performans elde ettiği gözlemlenmiştir. Kullanıcı çalışmaları, önerilen ÜÇA modelleri tarafından sentezlenen görüntülerin genellikle tek eğitim görüntüsüyle karıştırıldığını doğrulamıştır. Bu doğrultuda tez çalışması kapsamında önerilen ÜÇA modelleri, sınırlı eğitim verileriyle uğraşan alanlarda veri artırmanın yanı sıra çeşitli görüntü işleme görevleri için güçlü bir araç olarak kullanılabilir. Nisan 2024 , 141 sayfa.
Özet (Çeviri)
Image generation from a single natural image using generative adversarial networks (GANs) has attracted extensive attention recently due to the GANs' practical ability to produce photorealistic images and their potential applications in computer vision. In this thesis, two novel Unconditional GAN models are developed and implemented to generate diverse, high-quality, realistic image samples from a single natural training image. In both the generator and discriminator neural networks, Model 1 incorporates self-attention mechanisms, densely connected block architecture, and relativistic average least square GAN with gradient penalty loss component to proficiently learn the characteristics of a single training image. Model 2 effectively learns the latent representation information of the single training image. A novel training process has been developed for Model 2 by utilizing the learned latent representation. To test the performance and demonstrate the capabilities of the developed GAN models, quantitative and qualitative comparisons were carried out with well-known single-image GAN models in the literature. The comparisons were conducted using quantitative metrics measuring image quality and diversity on datasets such as Places, LSUN, and ImageNet, while qualitative user studies were conducted to assess image realism. In addition, the developed GAN models are tested in image manipulation applications. Experimental findings indicate that the developed GAN models exhibit efficient parameter utilization, mitigate overfitting, and successfully learn the internal patch statistics of training images characterized by complex structures and textures, comparable performance in single-image generation tasks. User studies confirm that images synthesized by the developed GAN models are frequently mistaken for the single training image. In this regard, the GAN models proposed within the scope of the thesis can be used as a powerful tool for various image processing tasks as well as data augmentation in areas dealing with limited training data. April 2024, 141 pages.
Benzer Tezler
- Generative adversarial networks in computer vision applications
Bilgisayarli görü uygulamalarinda çekişmeli üretici ağlar
SEMİH ÖRNEK
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ENDER METE EKŞİOĞLU
- Self-supervised pansharpening: Guided colorization of panchromatic images using generative adversarial networks
Öz-denetimli pankeskinleştirme: Çekişmeli üretken ağlar ile pankromatik görüntülerin güdümlü renklendirilmesi
FURKAN ÖZÇELİK
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. GÖZDE ÜNAL
- Single-frame and multi-frame super-resolution on remote sensing images via deep learning approaches
Derin öğrenme yaklaşımlarıyla uzaktan algılama görüntülerinde tek çerçeve ve çok çerçeve süper çözünürlük
PEIJUAN WANG
Doktora
İngilizce
2022
İletişim Bilimleriİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Pansharpening using generative adversarial networks with dual discriminators
Çift ayrıştırıcılı çekişmeli üretken ağlar kullanarak pankeskinleştirme
NAHİDE NESLİ CESUR
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. IŞIN ERER
- İmge kümeleri ile yüz tanımada yüz hizalanması ve önleştirme yöntemleri
Face alignment and frontalization methods for image set based face recognition
GOLARA GHORBAN DORDINEJAD
Doktora
Türkçe
2023
Elektrik ve Elektronik MühendisliğiEskişehir Osmangazi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN ÇEVİKALP