Bridging the MoCap-to-visual domain gap in human mesh recovery from 2D keypoints
2B anahtar noktalardan 3B ̇insan vücut örgüsünün geri kazanılmasında hareket yakalama ile görsel alan arası boşlugu kapatmak
- Tez No: 817232
- Danışmanlar: DOÇ. DR. EMRE AKBAŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışma, 2B anahtar noktalardan insan vücut örgüsünün geri kazanılması problemini çözmeyi hedeflemektedir. Yalnızca hareket yakalama veri kümesi (hareket yakalama alanı) kullanan ve bu verilere karşılık gelen görüntüleri gerektirmeyen bir model geliştirdik. Bu yaklaşım, mevcut geniş hareket yakalama veri kümelerinden yararlanmamıza ve toplanması zor olan eşleştirilmiş görüntü-3B veri kümelerinin eksikliğini aşmamıza olanak tanıyor. Kullanıma hazır 2B anahtar nokta tespit eden bir model kullanarak eğitim sonrası modellerimizi alan değiştirip gerçek görsel verilere (görsel alan) uyguluyoruz. Hareket yakalama alanından görsel alana olan alan bu değişimin etkisini en aza indirmek icin, bir çekişmeli alan uyarlama yöntemi sunduk ve modellerimizi görsel alana uyarladık. Katkılarımız şunlardır: (i) 2B anahtar nokta tespitlerinden 3B insan vücut ağının geri kazanmak için kestirim tabanlı bir yöntem sunuyoruz, (ii) görsel veri etiketine ihtiyaç duymadan hareket yakalama alanı ile görsel alan arasındaki alan farkını kapatıyoruz, (iii) yaygın olarak kullanılan H3.6M ve 3DPW veri kümeleri üzerindeki deneysel sonuçlarımız, yöntemimizin eşleştirilmemiş 3B eğitim koşullarında 2B anahtar noktalardan insan vücut ağının geri kazanılmasında, her iki veri kümesi için de mevcut yöntemleri PA-MPJPE metriğinde geride bıraktığını göstermektedir. Ayrıca yöntemimiz 3DPW'de MPJPE ve PVE metriklerinde de var olan yöntemlere göre daha iyi performans sergilemektedir ve (iv) yöntemimiz tek adımlı olması sebebiyle, en yakın rakibinden (LGD) 33 kata kadar daha hızlıdır.
Özet (Çeviri)
This study tackles the problem of recovering human meshes from 2D keypoint keypoints. We develop a model that utilizes MoCap datasets (Motion Capture domain) during training without the need for corresponding RGB images. This approach allows us to leverage existing large MoCap datasets and overcome the scarcity of paired RGB-3D datasets, which are difficult to collect. After training, we switch domain and apply our models to real visual data (visual domain) by using an off-the-shelf 2D detector to obtain 2D keypoints as inputs to our model. To minimize the impact of the domain shift from the MoCap domain to the visual domain, we introduce an adversarial domain adaptation framework and adapt our models to the visual domain. Our contributions are as follows: (i) we introduce a direct regression method, i.e. without any iterations or recurrent connections, to recover 3D human body mesh from 2D keypoint detections, (ii) we bridge the domain gap between the MoCap domain and the visual domain without relying on labeled visual data, (iii) our experimental results on widely used datasets, H3.6M and 3DPW, demonstrate that our approach outperforms existing methods in terms of PA-MPJPE on both datasets, as well as MPJPE and PVE on 3DPW for the task of recovering human meshes from 2D keypoints under unpaired 3D training conditions and (iv) due to the single-stage approach of our method, it is up to 33x faster than its closest competitor (LGD).
Benzer Tezler
- Impact of stock market development on the economic growth in Nigeria (1990-2023)
Nijerya'daki borsa gelişiminin ekonomik büyümeye etkisi
JESUPELUMI ALBERT OJENIYI
- Bridging the gap between David Hume's and Immanuel Kant's theories of morality
David Hume ve Immanuel Kant'ın ahlak teorilerinin arasında köprü kurulabilmesi
TUĞRUL ÖZKARACALAR
- Bridging the gap between optical and RF antennas: An optical patch antenna design inspired by RF cavity model
Optik ve RF antenler arasinda kopru olusturma - RF kavite modeli ile optik yama anten tasarimi
GÜL SEDA ÜNAL
- Bridging the gap: Comparing the relative effects of sustained silent reading (SSR), assisted repeated reading (ARR), and traditional reading (TR) on EFL learners' reading comprehension and silent reading rate, vocabulary knowledge, motivation for reading, and attitudes toward reading
Aralıksız sessiz okuma (ASO), yardımlı tekrarlı okuma (YTO), ve geleneksel okuma (GO) yöntemlerinin İngilizce'yi yabancı dil olarak öğrenen öğrencilerin okuduğunu anlama ve sessiz okuma hızı, kelime bilgisi, okuma motivasyonu ve okumaya yönelik tutumları üzerindeki nispi etkilerinin karşılaştırılması
MERVE SAVAŞÇI
- Bridging the Americas and Eurasia: Population history of American arctic peoples
Başlık çevirisi yok
NEFİZE EZGİ ALTINIŞIK
