Ranking based losses for human pose estimation
İnsan poz tahmini için sıralama tabanlı kayıplar
- Tez No: 972982
- Danışmanlar: DOÇ. DR. EMRE AKBAŞ, PROF. DR. SİNAN KALKAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
İnsan pozu kestirimi, bilgisayarla görmede temel bir görev olup, görüntülerde insan eklemlerinin (anahtar noktaların) belirlenmesini içerir. Yaygın olarak benimsenen bir yaklaşım, bu görevi regresyon veya sınıflandırma problemi olarak formüle etmektir; bu çerçevede özellikle sınıflandırma temelli yöntemler, her bir anahtar noktanın konumunu temsil eden ısı haritalarını tahmin etmektedir. Isı haritası tabanlı yöntemler, birçok kıyaslama veri kümesinde son teknoloji (state-of-the-art) performansa ulaşarak baskın paradigma hâline gelmiştir. Ancak bu yöntemler üç zorlukla karşılaşmaktadır. Birincisi, yaygın olarak kullanılan Ortalama Kare Hatası (Mean Squared Error, MSE) kaybı, ısı haritasındaki tüm sapmaları eşit şekilde cezalandırır; bu durum eklem yerelleştirmesini iyileştirmeyebilir, çünkü doğru tepe noktası keskinleştirmesini ve eklemlerin hassas yerelleştirilmesini vurgulamaz. İkincisi, ısı haritaları sınıf bazında dengesizlik gösterir; bu da eğitim sırasında yanlı gradyan sinyallerine yol açar. Üçüncüsü, eğitim hedefi ile değerlendirme ölçütü (mean Average Precision, mAP) arasında bir uyumsuzluk vardır ve bu performansı engelleyebilir. Bu sınırlamaları aşmak için, bu tez ısı haritası tabanlı insan pozu kestirimi için sıralama tabanlı kayıp fonksiyonları önermektedir. Önerilen kayıplar, Spatial-RS Loss ve Instance-Sort Loss, açıkça doğru eklem konumlarının diğer tüm adaylardan daha yüksek sıralanmasını ve güven puanlarının yerelleştirme kalitesi ile hizalanmasını hedeflemektedir. Teorik ve ampirik olarak, bu kayıpların MSE ve KL-Divergence gibi standart alternatiflerden daha iyi performans gösterdiği ortaya konmuştur. Önerilen yaklaşım, hem tek boyutlu hem de iki boyutlu ısı haritası temsilleri üzerinde, COCO, CrowdPose ve MPII olmak üzere üç yaygın insan pozu kestirimi kıyaslama veri kümesinde değerlendirilmiştir. Bildiğimiz kadarıyla, çalışmamız pozu kestiriminde doğrudan mAP'i optimize eden kayıp fonksiyonlarını tanıtan ilk çalışmadır. Yöntemlerimiz, ViTPose-H adlı bir görsel dönüştürücü (vision transformer) modeli kullanılarak COCO-val üzerinde 79.9 mAP elde etmiş, ayrıca SimCC ResNet-50 ile temel modelin üzerine 1.5 AP iyileştirme sağlayarak aynı veri kümesinde 73.6 AP'ye ulaşmıştır.
Özet (Çeviri)
Human pose estimation is a fundamental task in computer vision that involves identifying human joints (keypoints) in images. A widely adopted approach is to formulate it as either a regression or a classification problem; in the latter case, heatmaps are predicted to represent the locations of each keypoint. Heatmap-based methods have become the dominant paradigm, achieving state-of-the-art performance across multiple benchmark datasets. However, these methods face three challenges. First, the commonly used Mean Squared Error (MSE) loss penalizes all deviations in the heatmap equally, which does not necessarily lead to improved joint localization, as it fails to emphasize accurate peak sharpening and precise localization of joints. Second, heatmaps exhibit class-wise imbalance, which leads to biased gradient signals during training. Third, there exists a misalignment between the training objective and the evaluation measure (i.e., mean Average Precision), which can hinder performance. To address these limitations, this thesis introduces ranking-based loss functions tailored for heatmap-based human pose estimation. The proposed losses, Spatial-RS Loss and Instance-Sort Loss, explicitly aim to rank the ground truth joint locations higher than all other candidates and to align confidence scores with localization quality. Theoretically and empirically, these losses are demonstrated to outperform standard alternatives such as MSE and KL-Divergence. The proposed approach is evaluated on both one-dimensional and two-dimensional heatmap representations across three widely-used human pose estimation benchmarks: COCO, CrowdPose, and MPII. To the best of our knowledge, our work is the first to introduce loss functions that explicitly optimize for mAP in pose estimation. Our methods achieve state-of-the-art results, including 79.9 mAP on COCO-val using ViTPose-H, a vision transformer model, and an improvement of 1.5 AP over the baseline with SimCC ResNet-50, reaching 73.6 AP on the same dataset.
Benzer Tezler
- Antenna and frequency selective surface design for 3.1 GHZ detect and avoid radar system on unmanned aerial vehicle
İnsansız hava aracında 3.1 GHZ tespit ve kaçınma radar sistemi için anten ve frekans seçici yüzey tasarımı
MOHAMMAD HAROON AZAD
Yüksek Lisans
İngilizce
2025
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. FUNDA AKLEMAN YAPAR
DOÇ. DR. HÜSEYİN ŞERİF SAVCI
- A comprehensive analysis of maritime incidents from a personal injury perspective
Deniz olaylarının kişisel yaralanma perspektifinden kapsamlı analizi
DUYGU YALÇIN
Yüksek Lisans
İngilizce
2024
Denizcilikİstanbul Teknik ÜniversitesiDeniz Ulaştırma İşletme Mühendisliği Ana Bilim Dalı
PROF. DR. EMRE AKYÜZ
- Brucella sero-pozitif hayvanların farklı doku ve organlarında Brucella spp. varlığının araştırılması
Investigation of the presence of Brucella spp. in different tissues and organs of Brucella sero-positive animals
SEDAT ILDIZ
Doktora
Türkçe
2026
Veteriner HekimliğiAnkara ÜniversitesiVeterinerlik Gıda Hijyeni ve Teknolojisi Ana Bilim Dalı
PROF. DR. UFUK TANSEL ŞİRELİ
- En uygun uzlaşık yöntemi (VIKOR) ile işletmelerin kurumsal kaynak planlaması (ERP)'nin önemi
The importance of enterprise resource planning (ERP) in businesses using the vikor method for compromise ranking
ALİ HUZEYFE ÇELİK
Yüksek Lisans
Türkçe
2025
Yönetim Bilişim Sistemleriİstanbul Nişantaşı ÜniversitesiYönetim Bilişim Sistemleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ NESİBE MANAV MUTLU
- İçerik tabanlı görüntü erişimi ile uzaktan algılama verilerinde obje arama
Object retrieval in remote sensing data using content based imaged retrieval
ÖZGE TOKMAK
Yüksek Lisans
Türkçe
2025
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. NEBİYE MUSAOĞLU