Geri Dön

Action quality assessment with multivariate time series

Çok değişkenli zaman serileri ile eylem kalite değerlendirmesi

PDF İndir

  1. Tez No: 798212
  2. Yazar: BURÇİN BUKET OĞUL
  3. Danışmanlar: PROF. DR. SUAT ÖZDEMİR
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: Hacettepe Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 88

Özet

Eylem kalite değerlendirmesinde bilgisayarlı yöntemlerin kullanılması, sağlık, spor ve eğitim gibi çeşitli alanlardaki eylemlerin objektif olarak değerlendirilmesinde umut verici bir yön olarak kabul edilmektedir. Tipik bir eylem kalite değerlendirme mimarisinde amaç, herhangi bir eylemin önceden tanımlanmış bir kategoriye veya o eylemin kalite seviyesini belirleyen sürekli bir etikete atanması amacıyla bir sınıflandırma veya regresyon sistemi geliştirmektir. Bu tür sistemler manuel olarak, üstelik işaretleme yapan kişinin olası tutarsız etiketlemeleri ile eğitildiğinden, kalite düzeyini kategorize etme veya eylemin kalite başarı seviyesini tam olarak tahmin etme girişimi, potansiyel olarak az sayıda ve dengesiz eğitim verileriyle hatalı sonuçlara sebebiyet verebilir. Bu tezde, eylem kalitesi değerlendirme problemini, eylemlerin mutlak seviyelerini doğrudan değerlendirmek ve tahmin etmek yerine, daha iyi performansı belirlemek için iki girdi eylemini göreceli olarak değerlendirdiğimiz ikili bir sıralama görevi olarak ele alıyoruz. Bu amaçla, hareket sensörlerinden elde edilen çok değişkenli zaman serisi türünde iki eylem verisini girdi olarak alan ve bir sorgu örneğinin referans olandan daha iyi kalitede olma olasılığını rapor eden yeni bir model öneriyoruz. Bu ikili sıralama modeli, zaman serisi verilerinin parçalı toplam yaklaşımıyla (piecewise aggregate approximation) eğitilen bir dikkat mekanizması (attention-enhanced) tabanlı Siyam Uzun Kısa-Süreli Bellek (Siamese Long Short-Term Memory) Ağı üzerine kurulmuştur. Mimarinin final katmanında, nihai göreceli değerlendirmeyi yapmak için de yenilikçi bir olasılıksal sıralama katmanı önerilmiştir. Ayrıca geliştirilen bu ikili model, eylem kalite değerlendirmesi problemini bir regresyon modeli olarak ele almak istediğimizde, o modelin eğitimindeki öznitelik kümesini oluşturmak için daha da genişletilmiştir. Model sırasıyla, Parkinson hastalarında ayak sensörleri kullanılarak hastaların yürüyüşlerinin değerlendirmesi, kinematik sensörler kullanılarak cerrahi beceri değerlendirmesi ve video kayıtlarından elde edilmiş pozlar kullanılarak olimpik dalış kalitesi değerlendirmesi olmak üzere üç farklı uygulamada test edilmiştir. Deneysel sonuçlara göre, önerilen modelin, bu veri setlerini kullanan mevcut modellerden daha yüksek doğruluk sonuçlarına eriştiği görülmüştür. Ayrıca geliştirdiğimiz sıralama tabanlı deneysel öznitelik temsiline sahip yeni regresyon modelinin, aynı deneysel düzenekte uygulandığında mevcut modellerden daha iyi performans değerlerine ulaştığı da gösterilmiştir. Modelin ayrıca bireysel gelişim takibinde de anlamlı sonuçlar verdiği izlenmiştir. Model, girdilerin çok değişkenli zaman serisi sinyalleri biçiminde olması sebebiyle, ikili sıralama görevi için genel bir model olarak düşünülebilir. Uzun Kısa-Süreli Bellek katmanı, modeli tüm sıralı sinyaller için uygulanabilir hale getirirken, dikkat mekanizması, farklı ölçüm türlerinden elde edilen yeni sinyalleri benimseme yeteneğini genişletir. Olasılıksal kayıp fonksiyonuna sahip önerilen sıra katmanı, Siyam modelinin, girdi eylemlerin benzerliklerini hesaplamak için doğrudan değerlendirmeleri yerine, bu eylemlerin birbirlerine göre göreceli olarak karşılaştırılmasına imkân sağlar. Bu göreceli değerlendirme yaklaşımı, kalite seviyelerini tanımlamak için yeterli etiketlemeye sahip olamamanın dezavantajlarının üstesinden gelebilir ve nesnel beceri değerlendirmesi için daha yorumlanabilir bir araç sağlayabilir. Ayrıca model, farklı zaman noktalarında iki aktiviteyi karşılaştırarak bireylerin beceri gelişiminin izlenmesine olanak tanır. Bu modelin çeşitli alanlarda, ancak özellikle spor ve sağlıkta geniş bir uygulama yelpazesi bulmasını bekliyoruz.

Özet (Çeviri)

Action quality assessment using computerized methods is considered to be a promising direction in objective evaluation of actions in several domains including health, sport and education. In a typical architecture for quality assessment, a classification or regression system is asked to assign a query action to a predefined category or a continuous label that determines its quality level. Such systems are still trained manually, and they may have inconsistent annotations. Hence, an attempt to categorize or quantify the quality level can be biased due to potentially scarce or skewed training data. In this thesis, we approach the quality assessment problem as a pairwise ranking task where we relatively assess two input actions to identify better performance instead of assessing their absolute levels. To this end, we propose a novel computational model that takes two action data in the form of multi-variate time-series acquired from motion sensors and reports the probability of a query sample having a better quality than a reference one. The ranking model is built upon an attention-enhanced Siamese Long Short-Term Memory (LSTM) Network fed by piecewise aggregate approximation of time-series data. A probabilistic ranking layer is proposed to make the final relative assessment. The pairwise model is further extended to create an empirical feature representation in a regression setup. The model is adopted in three different applications, namely, gait assessment in Parkinson's Disease (PD) patients using foot sensors, surgery skill assessment using kinematics sensors and diving quality assessment using estimated pose from video recordings. According to experimental results, the proposed model achieves higher assessment accuracy than the existing models for pairwise ranking in all common datasets. The new regression model with new ranking-based empirical feature representation also outperforms the existing models when applied in their experimental setup. The proposed model is further shown to be accurate in individual progress monitoring. The model that is developed in this thesis can be considered as a generic model for several pairwise ranking tasks provided that the inputs are in the form of multi-variate time-series signals. While LSTM layer makes the model applicable for all sequential signals, attention enhancement extends its ability to adopt novel signals obtained from different measurement modalities. Proposed rank layer with probabilistic loss function allows the Siamese model to handle relative comparison of inputs instead of their direct evaluation for similarity. This relative assessment approach may overcome the limitations of having consistent annotations to define quality levels and provide a more interpretable means for objective skill assessment. Moreover, the model allows monitoring the skill development of individuals by comparing two activities at different time points. We expect that this model will find a wide range of applications in several domains, but more particularly in sports and healthcare.

Benzer Tezler

  1. Tez No

    21850

    Uydu verileri ile İstanbul Boğazı ve Haliç'de su kirliliğinin makro düzeyde belirlenmesi

    Intrepretation at macro level as pollution of water resources of remotely sensed data of Bosphorus and golden horn estuary by an unsupervised and supervised classification method

    H.GONCA COŞKUN

    Doktora

    Türkçe

    Türkçe

    1992

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    PROF. DR. CANKUT ÖRMECİ

  2. Tez No

    71798

    Hizmet sektöründe toplam kalite yönetimi

    Başlık çevirisi yok

    HÜNKAR ŞERİF

    Yüksek Lisans

    Türkçe

    Türkçe

    1998

    İşletmeMarmara Üniversitesi

    Bankacılık Ana Bilim Dalı

    PROF. DR. İ. METE DOĞRUER

  3. Tez No

    885012

    Investigation of urban, industrial and agricultural air pollution in the Thrace Region

    Trakya Bölgesi'nde kentsel, endüstriyel ve tarım kaynaklı hava kirliliğinin incelenmesi

    AHSEN HAVVA BAYRAM

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Çevre Mühendisliğiİstanbul Teknik Üniversitesi

    Çevre Mühendisliği Ana Bilim Dalı

    DOÇ. DR. BURÇAK KAYNAK TEZEL

  4. Tez No

    199053

    Quality assessment of the armourstones for some Black Sea rubble mound breakwaters

    Bazı Karadeniz kaya dolgu dalgakıranları için anroşmanların kalite değerlendirmesi

    UTKU AHMET ÖZDEN

    Yüksek Lisans

    İngilizce

    İngilizce

    2006

    Jeoloji MühendisliğiOrta Doğu Teknik Üniversitesi

    Jeoloji Mühendisliği Ana Bilim Dalı

    PROF.DR. TAMER TOPAL

  5. Tez No

    708216

    Does taping in addition to physiotherapy improve the outcomes in subacromial impingement syndrome? a systematic review

    Fizyoterapiye ek olarak uygulanan klinik bantlama subakromiyal sıkışma sendromunda sonuçları iyileştirir mi? sistematik derleme

    İSMAİL SARAÇOĞLU

    Yüksek Lisans

    İngilizce

    İngilizce

    2014

    Fizyoterapi ve RehabilitasyonThe University of Nottingham

    Sağlık Bilimleri Ana Bilim Dalı

    YRD. DOÇ. DR. MICHELLE HALL

Geri Dön