Image inpainting with diffusion models and generative adversarial networks
Difüzyon modelleri ve çekişmeli üretici ağları ile görüntü tamamlama
- Tez No: 866045
- Danışmanlar: DR. ÖĞR. ÜYESİ AYŞEGÜL DÜNDAR BORAL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 67
Özet
Görüntü tamamlama, görüntülerden istenmeyen pikselleri silmeyi ve bunları anlamsal olarak tutarlı ve gerçekçi bir şekilde doldurmayı içeren bir görevdir. Bu göreve yönelik iki yeni yaklaşım sunuyoruz. İlk yaklaşım, bir görüntüden hangi nesnenin çıkarılacağını belirlemek için doğal dil girdisi kullanıyor. Bu görev için GQA-Inpaint adlı bir veri seti oluşturuyor ve bu veri seti üzerinde metin komutuna dayalı olarak görüntülerden nesneleri çıkarabilen bir difüzyon tabanlı görüntü tamamlama modeli eğitiyoruz. İkinci yaklaşım, gerçekçi görüntü tamamlama ve düzenleme amacıyla silinmiş görüntüleri StyleGAN'ın gizli uzayına geri döndürmek gibi zorlu bir görevi başarıyor. Bu görev için, kodlanmış olan silinmiş görüntü özelliklerini rastgele örneklerden elde edilen StyleGAN'ın stil vektörleri ile birleştirmek amacıyla bir kodlayıcı ve bir karıştırma ağı öğrenmeyi öneriyoruz. Aynı silinmiş resim için çeşitli görüntü tamamlama sonuçları elde etmek adına, kodlanmış özellikleri ve rastgele örneklenen stil vektörlerini karıştırma ağı aracılığıyla birleştiriyoruz. Yöntemlerimizi modellerin kalitesini ölçen farklı değerlendirme metrikleriyle karşılaştırıyoruz ve önemli niceliksel ve niteliksel iyileştirmeler gösteriyoruz.
Özet (Çeviri)
We present two novel approaches to image inpainting, a task that involves erasing unwanted pixels from images and filling them in a semantically consistent and realistic way. The first approach uses natural language input to determine which object to remove from an image. We construct a dataset named GQA-Inpaint for this task and train a diffusion-based inpainting model on it, which can remove objects from images based on text prompts. The second approach tackles the challenging task of inverting erased images into StyleGAN's latent space for realistic inpainting and editing. For this task, we propose learning an encoder and a mixing network to combine encoded features of erased images with StyleGAN's mapped features from random samples. To achieve diverse inpainting results for the same erased image, we combine the encoded features and randomly sampled style vectors via the mixing network. We compare our methods with different evaluation metrics that measure the quality of the models and show significant quantitative and qualitative improvements.
Benzer Tezler
- Unsupervised anomaly detection on brain fractional anisotropymaps by inpainting with denoising diffusion probabilistic models
Gürültü giderici difüzyon olasılık modelleri ile iç boyamayoluyla beyin fraksiyonel anizotropi haritalarındadenetimsiz anormallik tespiti
BURHAN YUSUF ARAT
Yüksek Lisans
İngilizce
2023
Bilim ve TeknolojiYeditepe ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ANDAÇ HAMAMCI
- Development of epitope imprinted antimicrobial cryogel discs for tannic acid release
Tanik asit salımına yönelik epitop baskılı antimikrobiyal kriyojel disklerin geliştirilmesi
BÜŞRA TUNA
Yüksek Lisans
İngilizce
2024
BiyomühendislikAdana Alparslan Türkeş Bilim Ve Teknoloji ÜniversitesiBiyomühendislik Ana Bilim Dalı
PROF. DR. GÖZDE BAYDEMİR PEŞİNT
DOÇ. DR. HATİCE İMGE OKTAY BAŞEĞMEZ
- Image inpainting with gans on loki dataset
Başlık çevirisi yok
RIFKI CAN BİNİCİ
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Katip Çelebi ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
PROF. DR. AYTUĞ ONAN
- Learning to inpaint images uisng scene constraints
Sahne kısıtlamalarını kullanarak görüntüler tamamlama
MOHAMED ABBAS HEDJAZI
Doktora
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YAKUP GENÇ
- Digital image inpainting using high dimensional model representation based methods
Yüksek boyutlu model gösterilim tabanlı yöntemlerle sayısal imge içboyuma
EFSUN KARACA
Doktora
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET ALPER TUNGA