Bridging the MoCap-to-visual domain gap in human mesh recovery from 2D keypoints
2B anahtar noktalardan 3B ̇insan vücut örgüsünün geri kazanılmasında hareket yakalama ile görsel alan arası boşlugu kapatmak
- Tez No: 817232
- Danışmanlar: DOÇ. DR. EMRE AKBAŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 66
Özet
Bu çalışma, 2B anahtar noktalardan insan vücut örgüsünün geri kazanılması problemini çözmeyi hedeflemektedir. Yalnızca hareket yakalama veri kümesi (hareket yakalama alanı) kullanan ve bu verilere karşılık gelen görüntüleri gerektirmeyen bir model geliştirdik. Bu yaklaşım, mevcut geniş hareket yakalama veri kümelerinden yararlanmamıza ve toplanması zor olan eşleştirilmiş görüntü-3B veri kümelerinin eksikliğini aşmamıza olanak tanıyor. Kullanıma hazır 2B anahtar nokta tespit eden bir model kullanarak eğitim sonrası modellerimizi alan değiştirip gerçek görsel verilere (görsel alan) uyguluyoruz. Hareket yakalama alanından görsel alana olan alan bu değişimin etkisini en aza indirmek icin, bir çekişmeli alan uyarlama yöntemi sunduk ve modellerimizi görsel alana uyarladık. Katkılarımız şunlardır: (i) 2B anahtar nokta tespitlerinden 3B insan vücut ağının geri kazanmak için kestirim tabanlı bir yöntem sunuyoruz, (ii) görsel veri etiketine ihtiyaç duymadan hareket yakalama alanı ile görsel alan arasındaki alan farkını kapatıyoruz, (iii) yaygın olarak kullanılan H3.6M ve 3DPW veri kümeleri üzerindeki deneysel sonuçlarımız, yöntemimizin eşleştirilmemiş 3B eğitim koşullarında 2B anahtar noktalardan insan vücut ağının geri kazanılmasında, her iki veri kümesi için de mevcut yöntemleri PA-MPJPE metriğinde geride bıraktığını göstermektedir. Ayrıca yöntemimiz 3DPW'de MPJPE ve PVE metriklerinde de var olan yöntemlere göre daha iyi performans sergilemektedir ve (iv) yöntemimiz tek adımlı olması sebebiyle, en yakın rakibinden (LGD) 33 kata kadar daha hızlıdır.
Özet (Çeviri)
This study tackles the problem of recovering human meshes from 2D keypoint keypoints. We develop a model that utilizes MoCap datasets (Motion Capture domain) during training without the need for corresponding RGB images. This approach allows us to leverage existing large MoCap datasets and overcome the scarcity of paired RGB-3D datasets, which are difficult to collect. After training, we switch domain and apply our models to real visual data (visual domain) by using an off-the-shelf 2D detector to obtain 2D keypoints as inputs to our model. To minimize the impact of the domain shift from the MoCap domain to the visual domain, we introduce an adversarial domain adaptation framework and adapt our models to the visual domain. Our contributions are as follows: (i) we introduce a direct regression method, i.e. without any iterations or recurrent connections, to recover 3D human body mesh from 2D keypoint detections, (ii) we bridge the domain gap between the MoCap domain and the visual domain without relying on labeled visual data, (iii) our experimental results on widely used datasets, H3.6M and 3DPW, demonstrate that our approach outperforms existing methods in terms of PA-MPJPE on both datasets, as well as MPJPE and PVE on 3DPW for the task of recovering human meshes from 2D keypoints under unpaired 3D training conditions and (iv) due to the single-stage approach of our method, it is up to 33x faster than its closest competitor (LGD).
Benzer Tezler
- Bridging the theory–practice gap for novice EFL teachers in Türkiye: Insights from scale development and critical incident reflections
Türkiye'de göreve yeni başlayan İngilizce öğretmenleri için kuram ve uygulama arasındaki boşluğu doldurmak: Ölçek geliştirme ve kritik olay yansımalarından çıkarımlar
AHMET FATİH YILMAZ
Doktora
İngilizce
2025
Eğitim ve ÖğretimPamukkale ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. RECEP ŞAHİN ARSLAN
- Bridging the quantum divide: Global and corporate strategies in the age of quantum technology
Kuantum uçurumu ile mücadele: Post-kuantum çağda küresel ve kurumsal stratejiler
ADEM NAS
Yüksek Lisans
İngilizce
2025
Bilim ve Teknolojiİstanbul Teknik Üniversitesiİşletme Ana Bilim Dalı
DOÇ. DR. ADNAN VEYSEL ERTEMEL
- Denizcilik eğitiminde karbonsuzlaştırma bilgi durumunun değerlendirilmesi: Bir eğitim modülünün etkililik sınaması
Bridging the knowledge gap: Evaluating the impact of decarbonization training in maritime education
BATURAY ÖZDEMİR
Yüksek Lisans
Türkçe
2025
Denizcilikİstanbul Teknik ÜniversitesiDeniz Ulaştırma Mühendisliği Ana Bilim Dalı
DOÇ. DR. BURAK ZİNCİR
- Bridging the gap between David Hume's and Immanuel Kant's theories of morality
David Hume ve Immanuel Kant'ın ahlak teorilerinin arasında köprü kurulabilmesi
TUĞRUL ÖZKARACALAR
- Bridging the gap between optical and RF antennas: An optical patch antenna design inspired by RF cavity model
Optik ve RF antenler arasinda kopru olusturma - RF kavite modeli ile optik yama anten tasarimi
GÜL SEDA ÜNAL
Doktora
İngilizce
2014
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. MUHAMMET İRŞADİ AKSUN