Bridging the MoCap-to-visual domain gap in human mesh recovery from 2D keypoints
2B anahtar noktalardan 3B ̇insan vücut örgüsünün geri kazanılmasında hareket yakalama ile görsel alan arası boşlugu kapatmak
- Tez No: 817232
- Danışmanlar: DOÇ. DR. EMRE AKBAŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 66
Özet
Bu çalışma, 2B anahtar noktalardan insan vücut örgüsünün geri kazanılması problemini çözmeyi hedeflemektedir. Yalnızca hareket yakalama veri kümesi (hareket yakalama alanı) kullanan ve bu verilere karşılık gelen görüntüleri gerektirmeyen bir model geliştirdik. Bu yaklaşım, mevcut geniş hareket yakalama veri kümelerinden yararlanmamıza ve toplanması zor olan eşleştirilmiş görüntü-3B veri kümelerinin eksikliğini aşmamıza olanak tanıyor. Kullanıma hazır 2B anahtar nokta tespit eden bir model kullanarak eğitim sonrası modellerimizi alan değiştirip gerçek görsel verilere (görsel alan) uyguluyoruz. Hareket yakalama alanından görsel alana olan alan bu değişimin etkisini en aza indirmek icin, bir çekişmeli alan uyarlama yöntemi sunduk ve modellerimizi görsel alana uyarladık. Katkılarımız şunlardır: (i) 2B anahtar nokta tespitlerinden 3B insan vücut ağının geri kazanmak için kestirim tabanlı bir yöntem sunuyoruz, (ii) görsel veri etiketine ihtiyaç duymadan hareket yakalama alanı ile görsel alan arasındaki alan farkını kapatıyoruz, (iii) yaygın olarak kullanılan H3.6M ve 3DPW veri kümeleri üzerindeki deneysel sonuçlarımız, yöntemimizin eşleştirilmemiş 3B eğitim koşullarında 2B anahtar noktalardan insan vücut ağının geri kazanılmasında, her iki veri kümesi için de mevcut yöntemleri PA-MPJPE metriğinde geride bıraktığını göstermektedir. Ayrıca yöntemimiz 3DPW'de MPJPE ve PVE metriklerinde de var olan yöntemlere göre daha iyi performans sergilemektedir ve (iv) yöntemimiz tek adımlı olması sebebiyle, en yakın rakibinden (LGD) 33 kata kadar daha hızlıdır.
Özet (Çeviri)
This study tackles the problem of recovering human meshes from 2D keypoint keypoints. We develop a model that utilizes MoCap datasets (Motion Capture domain) during training without the need for corresponding RGB images. This approach allows us to leverage existing large MoCap datasets and overcome the scarcity of paired RGB-3D datasets, which are difficult to collect. After training, we switch domain and apply our models to real visual data (visual domain) by using an off-the-shelf 2D detector to obtain 2D keypoints as inputs to our model. To minimize the impact of the domain shift from the MoCap domain to the visual domain, we introduce an adversarial domain adaptation framework and adapt our models to the visual domain. Our contributions are as follows: (i) we introduce a direct regression method, i.e. without any iterations or recurrent connections, to recover 3D human body mesh from 2D keypoint detections, (ii) we bridge the domain gap between the MoCap domain and the visual domain without relying on labeled visual data, (iii) our experimental results on widely used datasets, H3.6M and 3DPW, demonstrate that our approach outperforms existing methods in terms of PA-MPJPE on both datasets, as well as MPJPE and PVE on 3DPW for the task of recovering human meshes from 2D keypoints under unpaired 3D training conditions and (iv) due to the single-stage approach of our method, it is up to 33x faster than its closest competitor (LGD).
Benzer Tezler
- Bridging the Americas and Eurasia: Population history of American arctic peoples
Başlık çevirisi yok
NEFİZE EZGİ ALTINIŞIK
- Bridging the 'Traditional' and the new: Changing tastes and the new high-end market of Turkish delight
'Gelenek' ile yeni arasında köprü: Değişen beğeniler ve yeni nesil Türk lokumu pazarı
CANAN KELEŞ
Yüksek Lisans
İngilizce
2023
İşletmeİhsan Doğramacı Bilkent Üniversitesiİşletme Ana Bilim Dalı
PROF. DR. GÜLİZ GER
- Bridging the GAP between product and user: A design framework to establish a free relationship with tehnology
Ürün ile kullanıcı arasında köprü kurmak: Teknoloji ile özgür bir ilişki kurabilmek için bir tasarım çerçevesi
ENVER TATLISU
Doktora
İngilizce
2023
Endüstri Ürünleri Tasarımıİstanbul Teknik ÜniversitesiEndüstriyel Tasarım Ana Bilim Dalı
PROF. DR. GÜLNAME TURAN
- Bridging the gap between optical and RF antennas: An optical patch antenna design inspired by RF cavity model
Optik ve RF antenler arasinda kopru olusturma - RF kavite modeli ile optik yama anten tasarimi
GÜL SEDA ÜNAL
Doktora
İngilizce
2014
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. MUHAMMET İRŞADİ AKSUN
- Bridging the gap between David Hume's and Immanuel Kant's theories of morality
David Hume ve Immanuel Kant'ın ahlak teorilerinin arasında köprü kurulabilmesi
TUĞRUL ÖZKARACALAR