Diverse inpainting and editing with semantic conditioning
Semantik koşullama ile çeşitli tamamlama ve düzenleme
- Tez No: 892558
- Danışmanlar: DR. ÖĞR. ÜYESİ AYŞEGÜL DÜNDAR BORAL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 55
Özet
Semantik haritayı takip ederek piksellerin doldurulmasını içeren semantik görüntü düzenleme, hem bağlama uyum sağlanması hem de semantik haritalara uyulmasını gerektiren zorlu bir görevdir. Önceki yöntemlerin çoğu, silinen görüntülerden tüm bilgiyi kodlamaya çalışmaktadır. Ancak, bir araba gibi bir nesne sahneye eklendiğinde, yalnızca bağlamdan yola çıkarak stilinin kodlanması mümkün değildir. Farklı sonuçlar üretebilen modeller, resmin üretilen ve silinmemiş bölümleri arasında oluşan keskin sınırları engellemekte zorlanmaktadırlar. Ayrıca, önceki yöntemler, görünür ve kısmen görünür nesnelerin stillerini farklı şekillerde kodlayabilecek bir mekanizmaya sahip olmadıkları görülmektedir ve bu durum performanslarını sınırlandırmaktadır. Bu çalışmada, stil kodlama ve üretilen resimlerde tutarlılığı sağlamak amacıyla görünür ve kısmen görünür nesneleri yeni bir mekanizma ile kodlayabilen bir yaklaşım öneriyoruz. Önceki koşullu görüntü üretimi ve semantik görüntü düzenleme algoritmalarıyla kapsamlı karşılaştırmalar sonucunda yöntemimizin mevcut en iyi yöntemlere kıyasla önemli ölçüde iyileştirme sağladığını göstermektedir. Yöntemimiz sadece daha iyi nicel sonuçlar elde etmekle kalmayıp aynı zamanda sonuçlarda çeşitlilik de sunmaktadır. Yayınlanan kod ve demo için lütfen proje web sayfasına bakınız: https://github.com/hakansivuk/DivSem.
Özet (Çeviri)
Semantic image editing involves filling in pixels according to a given semantic map, a complex task that demands contextual harmony and precise adherence to the semantic map. Most previous approaches attempt to encode all information from the erased image, but when adding an object like a car, its style cannot be inferred only from the context. Models capable of producing diverse results often struggle with smooth integration between generated and existing parts of the image. Moreover, existing methods lack a mechanism to encode the styles of fully and partially visible objects differently, limiting their effectiveness. In this work, we introduce a framework incorporating a novel mechanism to distinguish between visible and partially visible objects, leading to more consistent style encoding and improved final outputs. Through extensive comparisons with existing conditional image generation and semantic editing methods, our experiments demonstrate that our approach significantly outperforms the state-of-the-art. In addition to improved quantitative results, our method provides greater diversity in outcomes. For code and a demo, please visit our project page at https://github.com/hakansivuk/DivSem.
Benzer Tezler
- Image inpainting with diffusion models and generative adversarial networks
Difüzyon modelleri ve çekişmeli üretici ağları ile görüntü tamamlama
AHMET BURAK YILDIRIM
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AYŞEGÜL DÜNDAR BORAL
- Unsupervised anomaly detection on brain fractional anisotropymaps by inpainting with denoising diffusion probabilistic models
Gürültü giderici difüzyon olasılık modelleri ile iç boyamayoluyla beyin fraksiyonel anizotropi haritalarındadenetimsiz anormallik tespiti
BURHAN YUSUF ARAT
Yüksek Lisans
İngilizce
2023
Bilim ve TeknolojiYeditepe ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ANDAÇ HAMAMCI
- Automated earthwork progress monitoring for construction projects
İnşaat projeleri için otomatik hafriyat ilerleme takibi
AHMET BAHADDİN ERSÖZ
Doktora
İngilizce
2023
İnşaat MühendisliğiOrta Doğu Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. ONUR PEKCAN
- Cumhuriyetin ilanından günümüze Türk resminde kadın imgesi ve biçimsel yaklaşımlar
Woman image and formal approaches in Turkish painting from the proclamation of the republic to the nowadays
ÖMER YÜKSEK
Yüksek Lisans
Türkçe
2020
Güzel SanatlarTekirdağ Namık Kemal ÜniversitesiResim Ana Sanat Dalı
PROF. MELİHAT TÜZÜN