Learning to inpaint images uisng scene constraints
Sahne kısıtlamalarını kullanarak görüntüler tamamlama
- Tez No: 689325
- Danışmanlar: DR. ÖĞR. ÜYESİ YAKUP GENÇ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Gebze Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Görüntü tamamlama teknikleri imgelerin bozuk kısımlarını uyumlu alternatif içeriklerle doldurur. Son zamanlardaki çekişmeli üretken ağlar (GAN) tabanlı görüntü tamamlama yöntemleri, geleneksel görüntü işleme yaklaşımlarına göre kayda değer gelişmeler göstermektedir. Bu teknikler, eğitimi yönlendirmek için girdi imge sahne hakkında herhangi bir kısıtlama kullanmaz. Böylece elde edilen modeller sahnedeki nesnelerin semantiğini yakalamada zorluk çekmekte ve özellikle bulanık doku ve yapısal bozukluklar içeren imgeler oluşturmaktadır. Aynı zamanda modellerin yer ve zaman karmaşıklığı yüksektir.. Bu tez, bahsedilen sorunları çözen kademeli dört yöntem önererek eksik bölgeleri yüksek sadakatli yapısal ve dokusal imgeler ile tamamlamaktadır. ilk modelimiz, görüntü tamamlamada kısıt için segmentasyon etiketlerinden ve kenarlardan yararlanır. Bu model nesne sınırlarını ve görüntü yapısını yeniden oluşturmaya yardımcı olmaktadır. İkinci model, dört aşamalı jeneratörleri ve diskriminatörleri kullanarak GAN eğitimi stabilize etmektedir. Görüntü ayrıntılarını yakalabilmek için bir yeni bir doku uyum fonksiyonu tasarlanmıştır. Üçüncü model, büyük bölgeleri tamamlamak için bir müfredat eğitimi yaklaşımı önermektedir. GAN'ları stabilize etmek için eğitim süresinde maskelenmiş bölge boyutunu aşamalı olarak artırır. Son modelimiz, lokal odağı genişletmek için farklı çözünürlüklü derin sinir ağlarını kullanır ve aynı anda düşük ve üst düzey özellik öğrenimi sağlar. Ayrıca, bozuk bölgelerde büyük maskeler ve karmaşık dokular sergileyen görüntülere odaklanmak için kayıp fonksiyonda uyarlanabilir bir ağırlık mekanizması kullanır. Geliştirilen modellerin doğrulanması için deneyler popüler veri kümeleri üzerinde yapılmıştır. Modellerin testi sonucunda en son çıkan yöntemlerden daha iyi performans göstermektedir ve daha hızıdır. İmge tamamlama işlemleri sadece iç bölgeler için değil aynı zamanda dış bölge tamamlama ve kör görüntü iç bölge tamamlama problemlerine de başarılı bir şekilde uygulanmıştır.
Özet (Çeviri)
Image inpainting fills in the corrupted regions with plausible alternative contents. Recent GAN-based (Generative Adversarial Networks) inpainting methods show remarkable improvements over traditional ones. However, they assume the models implicitly learn the image structure and texture without enforcing constraints about the scene. Consequently, these models fail to capture object semantics, synthesize blurry texture details and produce significant artifacts on large masked regions due to GAN stability problems. Also, they employ large models requiring high computation time. This thesis proposes four methods to tackle these problems and complete the missing regions with the correct structure and fine-grained textures. Our first model exploits segmentation labels and edges to constrain image inpainting and reconstruct the object boundaries and the image structure. The second method stabilizes GAN training using four progressive generators and discriminators. To restore fine-grained detail, we use a texture-based loss function. The third method proposes a curriculum-style training approach to complete large regions. It increases the masked region size progressively in training time to stabilize GANs. Our final approach uses multi-resolution deep network paths to enlarge receptive fields and ensure low and high-level feature learning. It employs an adaptative weighting mechanism in the loss functions to focus on images exhibiting large masks and complex textures in the corrupted regions. We conduct our experiments on public datasets to validate our proposed methods. Results show that the proposed methods outperform state-of-the-art algorithms and speed up the inference time. We extend the experiments to other tasks, such as image outpainting and image blind inpainting.
Benzer Tezler
- Ameliyat öncesi hastaların ameliyata ilişkin duyguları, düşünceleri ve bilgi istekleri
The Pre-operative patiensts feelings throughts and information requirements concerning their surgical operations
KADRİYE BULDUKOĞLU
Yüksek Lisans
Türkçe
1987
HemşirelikCumhuriyet ÜniversitesiHemşirelik Ana Bilim Dalı
YRD. DOÇ. DR. MELİHA ATALAY
- Sivas ili cumhuriyet üniversitesi tip fakültesi numune ve sosyal sigortalari kurumu hastanelerinde çalişan hemşirelerin intra venöz (damar içi) sivi tedavisine ilişkin bilgi ve uygulamalari
The knowledge and practice related to the intravenous fluid theraph of the nurses working at the hospital of the medical faculty in cumhuriyet university, numune hastanesi and sosyal sigortalar kurumu hastanesi in sivas
İLKAY KALELİ
Yüksek Lisans
Türkçe
1985
HemşirelikCumhuriyet ÜniversitesiHemşirelik Ana Bilim Dalı
YRD. DOÇ. DR. MELİHA ATALAY
