Learning to inpaint images uisng scene constraints
Sahne kısıtlamalarını kullanarak görüntüler tamamlama
- Tez No: 689325
- Danışmanlar: DR. ÖĞR. ÜYESİ YAKUP GENÇ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Gebze Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 123
Özet
Görüntü tamamlama teknikleri imgelerin bozuk kısımlarını uyumlu alternatif içeriklerle doldurur. Son zamanlardaki çekişmeli üretken ağlar (GAN) tabanlı görüntü tamamlama yöntemleri, geleneksel görüntü işleme yaklaşımlarına göre kayda değer gelişmeler göstermektedir. Bu teknikler, eğitimi yönlendirmek için girdi imge sahne hakkında herhangi bir kısıtlama kullanmaz. Böylece elde edilen modeller sahnedeki nesnelerin semantiğini yakalamada zorluk çekmekte ve özellikle bulanık doku ve yapısal bozukluklar içeren imgeler oluşturmaktadır. Aynı zamanda modellerin yer ve zaman karmaşıklığı yüksektir.. Bu tez, bahsedilen sorunları çözen kademeli dört yöntem önererek eksik bölgeleri yüksek sadakatli yapısal ve dokusal imgeler ile tamamlamaktadır. ilk modelimiz, görüntü tamamlamada kısıt için segmentasyon etiketlerinden ve kenarlardan yararlanır. Bu model nesne sınırlarını ve görüntü yapısını yeniden oluşturmaya yardımcı olmaktadır. İkinci model, dört aşamalı jeneratörleri ve diskriminatörleri kullanarak GAN eğitimi stabilize etmektedir. Görüntü ayrıntılarını yakalabilmek için bir yeni bir doku uyum fonksiyonu tasarlanmıştır. Üçüncü model, büyük bölgeleri tamamlamak için bir müfredat eğitimi yaklaşımı önermektedir. GAN'ları stabilize etmek için eğitim süresinde maskelenmiş bölge boyutunu aşamalı olarak artırır. Son modelimiz, lokal odağı genişletmek için farklı çözünürlüklü derin sinir ağlarını kullanır ve aynı anda düşük ve üst düzey özellik öğrenimi sağlar. Ayrıca, bozuk bölgelerde büyük maskeler ve karmaşık dokular sergileyen görüntülere odaklanmak için kayıp fonksiyonda uyarlanabilir bir ağırlık mekanizması kullanır. Geliştirilen modellerin doğrulanması için deneyler popüler veri kümeleri üzerinde yapılmıştır. Modellerin testi sonucunda en son çıkan yöntemlerden daha iyi performans göstermektedir ve daha hızıdır. İmge tamamlama işlemleri sadece iç bölgeler için değil aynı zamanda dış bölge tamamlama ve kör görüntü iç bölge tamamlama problemlerine de başarılı bir şekilde uygulanmıştır.
Özet (Çeviri)
Image inpainting fills in the corrupted regions with plausible alternative contents. Recent GAN-based (Generative Adversarial Networks) inpainting methods show remarkable improvements over traditional ones. However, they assume the models implicitly learn the image structure and texture without enforcing constraints about the scene. Consequently, these models fail to capture object semantics, synthesize blurry texture details and produce significant artifacts on large masked regions due to GAN stability problems. Also, they employ large models requiring high computation time. This thesis proposes four methods to tackle these problems and complete the missing regions with the correct structure and fine-grained textures. Our first model exploits segmentation labels and edges to constrain image inpainting and reconstruct the object boundaries and the image structure. The second method stabilizes GAN training using four progressive generators and discriminators. To restore fine-grained detail, we use a texture-based loss function. The third method proposes a curriculum-style training approach to complete large regions. It increases the masked region size progressively in training time to stabilize GANs. Our final approach uses multi-resolution deep network paths to enlarge receptive fields and ensure low and high-level feature learning. It employs an adaptative weighting mechanism in the loss functions to focus on images exhibiting large masks and complex textures in the corrupted regions. We conduct our experiments on public datasets to validate our proposed methods. Results show that the proposed methods outperform state-of-the-art algorithms and speed up the inference time. We extend the experiments to other tasks, such as image outpainting and image blind inpainting.
Benzer Tezler
- Data augmentation on chest X-rays for improving pathology classification performance
Patoloji sınıflandırma performansını geliştirmek için göğüs X-ray filmlerinde veri çoğaltma
ONUR ADIGÜZEL
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. LALE AKARUN ERSOY
DR. PINAR YANARDAĞ
- Image inpainting with diffusion models and generative adversarial networks
Difüzyon modelleri ve çekişmeli üretici ağları ile görüntü tamamlama
AHMET BURAK YILDIRIM
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AYŞEGÜL DÜNDAR BORAL
- Gemi inşaatında atıklar ve boya emisyon tahmini
Wastes from shipbuilding processes and paint emission estimation
UĞUR BUĞRA ÇELEBİ
Doktora
Türkçe
2008
Gemi MühendisliğiYıldız Teknik ÜniversitesiGemi İnşaatı ve Gemi Makineleri Mühendisliği Ana Bilim Dalı
DOÇ. DR. NURTEN VARDAR
- Kazak yazar Dükenbay Dosjanov'un İpek Yolu romanında
The Metaphors in the novel Silk Way of Kazakh novelist Dukenbay Dosjanov
ZHAZİRAN OTYZBAYEVA
Yüksek Lisans
Türkçe
2006
DilbilimAnkara ÜniversitesiÇağdaş Türk Lehçeleri ve Edebiyatları Ana Bilim Dalı
DOÇ.DR. MELEK ERDEM
- Okul öncesi eğitim kurumuna devam eden beş-altı yaş grubu çocuklarına yaratıcı etkinlikler yoluyla kavram (zaman kavramı) öğretilmesi
Learning to conception (time) of pre-school children in ages 5-6 by creative activities
ELİF KURTULUŞ
Yüksek Lisans
Türkçe
1999
Eğitim ve ÖğretimMarmara ÜniversitesiOkul Öncesi Eğitimi Ana Bilim Dalı
DOÇ. DR. MÜZEYYEN SEVİNÇ