Image-to-image translation for face attribute editing with disentangled latent directions
Ayrıştırılmış örtülü vektörlerle yüz özelliklerini düzenleme için resimden resime çeviri
- Tez No: 828119
- Danışmanlar: YRD. DOÇ. DR. AYŞEGÜL DÜNDAR BORAL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Mühendislik Bilimleri Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 76
Özet
Bu çalışmada yüz özelliklerini düzenlemek için, ayrıştırılmış ve yorumlanabilir örtülü vektörler ile bir resimden resime çeviri sistemi önerilmektedir. Çalışmamızın odak noktası olan yüz özelliklerini düzenleme görevi, belirli bir özelliği kontrol edilebilir bir miktarda düzenleme ve bu süreçte diğer özellikleri koruyan ayrışık gösterimler öğrenme gibi zorluklara sahiptir. Bu zorlukları aşabilmek amacıyla önerilen sistemimizde, önceden eğitilmiş çekişmeli üretken ağlar (GAN) üzerinde uygulanan örtülü uzay ayrıştırması çalışmalarından ilham alarak, sistemimizde bulunan ve her biri farklı bir özelliği modelleyen diğer vektörlere dik bir doğrusal vektör elde ediyoruz. Sistemimiz, bu doğrusal vektörleri öğrenmek için diklik ve ayrıştırma üzerine optimizasyon fonksiyonları kullanmaktadır. Önerilen sistem, düzenlenmek istenen yüz resimlerini anlamsal olarak düzenlenmiş örtülü uzaya yansıtmak amacıyla kodlayıcı ve kod çözücüden oluşan ve dikkat mekanizması ile atlamalı bağlantılar içeren bir ağ mimarisi kullanmaktadır. Önerilen sistemin etkinliğini göstermek için, yüz özelliklerini düzenleme görevinde en iyi performansı gösteren modellerle detaylı karşılaştırmalar sunulmaktadır. Karşılaştırmalarımızda da görüldüğü gibi, çözümümüz bu görev için kullanılan güncel modellerden daha iyi bir performans göstermektedir.
Özet (Çeviri)
We propose an image-to-image translation framework for facial attribute editing with disentangled interpretable latent directions. Facial attribute editing task faces the challenges of targeted attribute editing with controllable strength and disentanglement in the representations of attributes to preserve the other attributes during edits. For this goal, inspired by the latent space factorization works of fixed pretrained GANs, we design the attribute editing by latent space factorization, and for each attribute, we learn a linear direction that is orthogonal to the others. We train these directions with orthogonality constraints and disentanglement losses. To project images to semantically organized latent spaces, we set an encoder-decoder architecture with attention-based skip connections. We extensively compare with previous image translation algorithms and editing with pretrained GAN works. Our extensive experiments show that our method significantly improves over the state-of-the-arts.
Benzer Tezler
- Nesneler ve fotoğrafik yorumları
Objects and photographic interpretations
MERİH AKOĞUL
Yüksek Lisans
Türkçe
2001
Sahne ve Görüntü SanatlarıMarmara ÜniversitesiFotoğraf Ana Sanat Dalı
DOÇ. DR. BARBAROS GÜRSEL
- Dijital fotogrametri teknikleri ile kişi tanıma
Personal identification with digital photogrammetrical tecniques
ABDULLAH VARLIK
Doktora
Türkçe
2008
Jeodezi ve FotogrametriSelçuk ÜniversitesiJeodezi ve Fotogrametri Ana Bilim Dalı
YRD. DOÇ. DR. ÖZŞEN ÇORUMLUOĞLU
- A multi - factor analysis model to determine the use value of enclosed outdoor spaces
Binalarla tanımlanmış dış mekanların kullanım değerini saptamaya yönelik çok faktörlü bir analiz modeli
DİLEK YILDIZ
Doktora
İngilizce
2004
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. HASAN ŞENER
- Pose-invariant 2D face recognition by matching using graphical models
Grafik modeller kullanarak eşleştirme yoluyla pozla değişmeyen 2B yüz tanıma
SHERVIN RAHIMZADEH ARASHLOO
Doktora
İngilizce
2010
Elektrik ve Elektronik MühendisliğiUniversity of SurreyElektrik Mühendisliği Ana Bilim Dalı
PROF. DR. JOSEF KİTTLER