Domain-adaptive self-supervised pre-training for face & body detection in drawings
Başlık çevirisi mevcut değil.
- Tez No: 774139
- Danışmanlar: DOÇ. DR. TEVFİK METİN SEZGİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 67
Özet
Çizimler, resimsel soyutlama ve iletişim için güçlü araçlardır. Dijital sanatlar, karikatürler ve çizgi romanlar dahil olmak üzere bu çeşitli çizim biçimlerini anlamak, bilgisayarla görme ve bilgisayar grafiği toplulukları için büyük bir ilgi sorunu olmuştur. Dijital ortamda çok sayıda çizim özellikle çizgi roman ve çizgi film şeklinde erişilebilir olsa da, bu örnekler geniş stilistik farklılıklar içermekte olduğundan, alana özel tanıma modellerinin eğitiminde pahalı etiketleme süreçleri gerekmektedir. Bu çalışmada, değiştirilmiş öğrenci ağı güncelleme dizaynına sahip bir öğretmen öğrenci ağına dayalı öz denetimli öğrenmenin yüz ve vücut dedektörleri oluşturmak için nasıl kullanılabileceğini gösterdim. Kurulumum, yalnızca az sayıda etiketlenmiş çizim resimleri seti kullanarak çok miktardaki etiketlenmemiş veriden faydalanmayı sağlıyor. Ayrıca, stil aktarma yöntemlerini öğrenme sürecine ekleyerek alan dışı doğal hayat resimlerinden faydalanmanın detektör performansını daha da arttırdığını kanıtladım. Kombine mimari, minimum etiketleme çabası kullanarak son teknoloji çizim detektörlerinden daha iyi ya da kıyaslanabilir performansa erişim sağlamakta. Bu detektör yapısından faydalanarak birtakım ekstra görevleri de tamamladım. İlk olarak, etiketlenmemiş veriler üzerinden geniş bir yüz çizim resim seti çıkarttım (~1.2 milyon örnek) ve yüz yaratmak için son teknoloji üretken çekişmeli ağ (GAN) modellerini, yeniden inşa etmek için ise son teknoloji bir GAN inversiyon modeli eğittim. Detektör destekli veriden yararlanıldığı takdirde, üretken modeller başarılı bir şekilde çeşitli stilistik özellikleri öğreniyor. İkinci olarak, var olan etiketlenmiş veriyi genişletmek için bir etiketleme aracı geliştirdim. Bu araç kullanıcılara panel, konuşma balonu, anlatım, yüz ve vücut sınırlayıcı kutularını etiketleme; yazıları yüz ve vücutlarla eşleştirme; yazıları transkripte dökme; resimdeki aynı karakterleri eşleştirme imkanı sunuyor.
Özet (Çeviri)
Drawings are powerful means of pictorial abstraction and communication. Understanding diverse forms of drawings, including digital arts, cartoons, and comics, has been a major problem of interest for the computer vision and computer graphics communities. Although there are large amounts of digitized drawings from comic books and cartoons, they contain vast stylistic variations, which necessitate expensive manual labeling for training domain-specific recognizers. In this work, I show how self-supervised learning, based on a teacher-student network with a modified student network update design, can be used to build face and body detectors. My setup allows exploiting large amounts of unlabeled data from the target domain when labels are provided for only a small subset of it. I further demonstrate that style transfer can be incorporated into my learning pipeline to bootstrap detectors using a vast amount of out-of-domain labeled images from natural images (i.e., images from the real world). My combined architecture yields detectors with state-of-the-art (SOTA) and near-SOTA performance using minimal annotation effort. Through the utilization of this detector architecture, I accomplish a set of additional tasks. First, I extract a large set of facial drawing images (~1.2 million instances) from unlabeled data and train SOTA generative adversarial network (GAN) models to generate and a SOTA GAN inversion model to reconstruct faces. When the detector-aided data is leveraged, these generative models successfully learn diverse stylistic features. Secondly, I implement an annotation tool to enlarge the existing set of annotated data. This tool offers users to annotate bounding boxes of panels, speech bubbles, narrations, faces, and bodies; to associate text boxes with faces and bodies; to transcript the text; to match the same characters in the image.
Benzer Tezler
- Öz bilgi destekli derin öğrenme yaklaşımları ile hsg gürültü giderme
Self-ınformation empowered deep learning approaches for hsı denoising
ORHAN TORUN
Doktora
Türkçe
2024
Elektrik ve Elektronik MühendisliğiHacettepe ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SENİHA ESEN YÜKSEL ERDEM
PROF. DR. MEHMET ERKUT ERDEM
- Hybridization of probabilistic graphical models and metaheuristics for handling dynamism and uncertainty
Değişimin ve belirsizliğin ele alınması için olasılıksal çizgesel biçelerin ve sezgi-üstlerinin melezleştirilmesi
GÖNÜL ULUDAĞ
Doktora
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AYŞE ŞİMA UYAR
- Governor control in hydropower stations
Hidro elektrik santrallerinde hız kontrolü
İSMAİL ŞAMİL AYDIN
Yüksek Lisans
İngilizce
2001
Elektrik ve Elektronik MühendisliğiGaziantep ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. İLYAS EKER
- The Design and implementation of an adaptive pre-processor and post-processor for finite element codes
Başlık çevirisi yok
SERDAR ULGER
Yüksek Lisans
İngilizce
1990
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi - Yüksek hızlı trenin rüzgâr ve esnek zemin etkisi altındaki titreşimlerinin yapay zekâ algoritmaları ile aktif kontrolü
Active control of high speed train vibrations under wind and flexible foundation using artificial intelligence algorithms
MUSTAFA EROĞLU
Doktora
Türkçe
2023
Makine MühendisliğiSakarya ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. RECEP KOZAN