Exploring dense depth predictions as a supervision source for human pose and shape estimation
Yoğun derinlik tahminlerinin insan poz ve şekil tahmini için bir denetim kaynağı olarak incelemesi
- Tez No: 890868
- Danışmanlar: DOÇ. DR. EMRE AKBAŞ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 108
Özet
Bu tez, güncel derinlik tahmin modelleri tarafından elde edilen yoğun derinlik bilgisinin, tek bir kamera görüntüsünden 3B insan pozu ve şekli (İPŞ) tahmini öğrenme üzerindeki etkinliğini incelemektedir. İPŞ tahminini denetlemek için gerçek veri toplamak maliyetli ve sınırlı laboratuvar ortamlarına bağlı bir işlemdir. Araştırmacılar, denetim eksikliğini hafifletmek için vücut yapısı veya kinematiğe dayalı öncelikler, optik akış ve segmentasyon gibi diğer bilgisayarlı görü görevlerinden elde edilen ipuçları ve özdenetimli görevleri kullanmışlardır. Bu bağlamdaki açık potansiyeline rağmen, tek bakışlı derinlik tahmini henüz incelenmemiştir. Bu eksikliği ele almak için, önce insan örgü yüzeyindeki noktalar ile derinlik tahmininden rekonstrüe edilen noktalar arasında yoğun bir eşleme ve hizalama tanımlıyoruz. Daha sonra birkaç yitim fonksiyonu öneriyor ve bunları kapsamlı bir şekilde değerlendiriyoruz. Human3.6M ve 3DPW veri setleri üzerinde yaptığımız deneyler, önerilen eşleme, hizalama ve yitim hesaplama işleminin, yalnızca 2B anahtar nokta denetimi veya 2B ve 3B denetimi kullanmaktan önemli ölçüde daha iyi İPŞ tahmini performansına sahip olduğunu göstermektedir.
Özet (Çeviri)
This thesis examines the effectiveness of dense depth information obtained by state-of-the-art depth estimation models in learning 3D human pose and shape (HPS) estimation from a monocular image. Collecting ground-truth data to supervise HPS estimation is costly and constrained to limited lab environments. Researchers have used priors based on body structure or kinematics, cues obtained from other vision tasks such as optical flow and segmentation, and self-supervised tasks to mitigate the scarcity of supervision. Despite its apparent potential in this context, monocular depth estimation has yet to be explored. We address this by first defining a dense mapping and alignment between the points on the surface of the human mesh and the points reconstructed from depth estimation. We then propose and extensively evaluate several loss functions. Firstly, we introduce DDA that combines dense mapping and alignment with a simple minimum squared distance loss. We extend it with DRT, a loss function to enforce the similarity transform between the target and the predicted body parts to be close to identity. Lastly, we propose MotionDRT that enforces motion consistency between depth and HPS predictions to train video HPS estimation models. Our experiments on Human3.6M and 3DPW datasets show that the proposed mapping, alignment, and loss calculation pipeline significantly improves HPS estimation performance over using only 2D keypoint supervision or 2D and 3D supervision.
Benzer Tezler
- Investigation of the behavior and effects of passive side reinforcement on in-situ retaining structures
Pasif yan takviyenın kast yapı üzerindeki davranış ve etkilerinin incelenmesi
TARIK SOLOMON TESHOME
Doktora
İngilizce
2024
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
Prof. Dr. AYKUT ŞENOL
DR. ÖĞR. ÜYESİ ZEHRA NİL KUTLU
- Otonom araç sürüşünde kamera-lidar füzyonu tabanlı yol tespiti
Camera and lidar fusion based road detection in autonomous vehicle driving
ERKAN MİLLİ
Doktora
Türkçe
2025
Elektrik ve Elektronik MühendisliğiAnkara ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ASIM EGEMEN YILMAZ
- Girişimcilik maaş desteğinin makroekonomik etkilerinin sistem dinamiği ve geometrik uzlaşık programlama yaklaşımıyla analizi
Analysis of macroeconomic effects of entrepreneurship wage subsidies using the system dynamics and geometric compromise programming approach
YUSUF ZİYA GÖVCE
Doktora
Türkçe
2025
Endüstri ve Endüstri MühendisliğiSakarya ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. ÖZER UYGUN
- Cultural encounters of ethnic identities: An ethnographic study of belonging in the urban landscape of Sarajevo
Etnik kimliklerin kültürel karşılaşmaları: Saraybosna kent peyzajında aidiyete ilişkin etnografik bir çalışma
TÜLAY ZIVALI
Doktora
İngilizce
2022
Mimarlıkİstanbul Teknik ÜniversitesiŞehir ve Bölge Planlama Ana Bilim Dalı
PROF. DR. HATİCE AYATAÇ
- In depth analysis of women entrepreneurs in Turkey, Germany and Iran
Türkiye, Almanya ve İran'da kadın girişimciler üzerine derinlemesine bir inceleme
KIMYA MOHAMADI
Yüksek Lisans
İngilizce
2020
İşletmeYıldız Teknik Üniversitesiİşletme Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ESİN ERTEMSİR