Perceptually validated precise local editing for facial action units with styleGAN
StyleGAN kullanarak yüz eylem üniteleri için algısal olarak doğrulanmış hassas yerel düzenleme
- Tez No: 728909
- Danışmanlar: DOÇ. DR. TEVFİK METİN SEZGİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Veri Bilimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 51
Özet
Yüz ifadelerini düzenleme yeteneği, bilgisayar ara yüzlerinde çok çeşitli uygulamalara sahiptir. İdeal yüz ifadesi düzenleme algoritmasının iki önemli kriteri karşılaması gerekir. İlk olarak, bireysel yüz eylemlerinin kesin ve hedefli düzenlenmesine izin vermelidir. İkincisi, yapaylık olmadan yüksek kaliteli çıktılar üretmelidir. Biz yüz ifadesi düzenlemesi için, yüzlerin anlamsal manipülasyonu alanında yaygın olarak kullanılan StyleGAN'a dayalı bir çözüm oluşturuyoruz. Bunu yaparken, StyleGAN'da çeşitli anlamsal niteliklerin nasıl kodlandığına dair anlayışımıza katkıda bulunuyoruz. Özellikle, gizli uzayda düzenleme yapmak için naif bir stratejinin belirli eylem birimleri arasında, birbirlerinden bağımsız olsalar bile, istenmeyen bağlantılarla sonuçlandığını gösteriyoruz. Örneğin, kaş indirme ve dudak gerdirme farklı eylem birimleri olmasına rağmen, eğitim verilerinde ilişkili görünüyorlar. Bu nedenle, StyleGAN onları çözmekte zorluk çekiyor. Her bir eylem birimi için ayrılmış etki bölgelerini hesaplayarak bu tür eylem birimlerinin bağımsız düzenlenmesine izin veriyoruz ve düzenlemeyi bu bölgelerle sınırlandırıyoruz. Toplam 43 denekle gerçekleştirilen algı deneyleri ile yerel surat ifadesi düzenleme yöntemimizin etkinliğini doğruluyoruz. Sonuçlar, yöntemimizin yerel düzenleme üzerinde daha yüksek kontrol sağladığını ve son teknoloji yöntemlerle karşılaştırıldığında üstün ve resmin aslına uygun görüntüler ürettiğini gösteriyor.
Özet (Çeviri)
The ability to edit facial expressions has a wide range of applications in computer graphics. The ideal facial expression editing algorithm needs to satisfy two important criteria. First, it should allow precise and targeted editing of individual facial actions. Second, it should generate high fidelity outputs without artifacts. We build a solution based on StyleGAN, which has been used extensively for semantic manipulation of faces. As we do so, we add to our understanding of how various semantic attributes are encoded in StyleGAN. In particular, we show that a naive strategy to perform editing in the latent space results in undesired coupling between certain action units, even if they are conceptually distinct. For example, although brow lowerer and lip tightener are distinct action units, they appear correlated in the training data. Hence, StyleGAN has difficulty in disentangling them. We allow disentangled editing of such action units by computing detached regions of influence for each action unit and restrict editing to these regions. We validate the effectiveness of our local editing method through perception experiments conducted with a total of 43 subjects. The results show that our method provides higher control over local editing and produces images with superior fidelity compared to the state-of-the-art methods.
Benzer Tezler
- Perceptually-driven computer graphics and visualization
Görsel algı odaklı bilgisayar grafikleri ve görselleştirme
ZEYNEP ÇİPİLOĞLU YILDIZ
Doktora
İngilizce
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HALİL BÜLENT ÖZGÜÇ
DOÇ. DR. TOLGA KURTULUŞ ÇAPIN
- Türk makam müziği usulleri için interaktif eğitim aracı
An interactive training tool for usul of Turkish makam music
BURAK UYAR
Yüksek Lisans
Türkçe
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiSes Teknolojileri Bilim Dalı
DOÇ. DR. BARIŞ BOZKURT
- Modelling prefrontal cortex functions by using neural networks
Korteks işlevlerinin yapay sinir ağları ile modellenmesi
GÜLAY KAPLAN BÜYÜKAKSOY
Doktora
İngilizce
2003
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. CÜNEYT GÜZELİŞ
YRD. DOÇ. DR. NESLİHAN ŞENGÖR
- Kentsel kıyılarda yere bağlılığın gelişiminde algısal sürece etki eden faktörlerin tespitine yönelik kavramsal bir model önerisi
A conceptual model proposal for determining the factors affecting the perceptual process in the development of place attachment in urban coastal areas
BEGÜM AKÖZ ÇEVRİMLİ
- Robotic skill learning from very few demonstrations
Başlık çevirisi yok
CEM ETEKE
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BARIŞ AKGÜN