Geri Dön

Üç boyutlu iskelet verilerinden metrik öğrenme tabanlı hareket tanıma

Metric learning based action recognition from three dimensional skeleton data

PDF İndir

  1. Tez No: 492632
  2. Yazar: ŞEYMA YÜCER
  3. Danışmanlar: PROF. DR. YUSUF SİNAN AKGÜL
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2018
  8. Dil: Türkçe
  9. Üniversite: Gebze Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 95

Özet

İnsan hareketlerinin analizi bilgisayarla görme alanının önemli problemlerinden biridir. Bu problem, hareketlerin bilgisayar tarafından analiz edilmesi olarak tanımlanabilir. Hareketlerin tanınması, fizik tedavi, güvenlik, eğlence ve biyometri gibi pek çok alana katkı sağlayacaktır. Literatür çalışmaları, günlük (yeme, içme, oturma vb.) ya da spor (koşma, dalma, bisiklet sürme vb.) hareketlerin tanınması, hasta hareketlerinin analizi, biyometrik hareket verileri ile kişi tanıma veya gözetim amaçlı şüpheli hareket tespiti için yöntemler sunmaktadır. İnsan hareketi verileri 2B veya 3B görüntülerden elde edilmektedir. 3B veriler, 2B verilere ek olarak görüntüdeki piksellerin derinlik bilgilerini de içermektedir. 3B hareket görüntüleri üzerinde bulunan iskelet eklem koordinatları, hareketleri daha verimli ve daha doğru ifade etmektedir. Bu tez kapsamında, 3B iskelet görüntüleri kullanılarak insan hareketlerinin analizi için iki ayrı yöntem önerilmiştir. Bu yöntemlerden ilki, hareketler için gösterim tabanlı bir çözüm sunmaktadır. Geometrik eklem çantası olarak adlandırdığımız yöntem, 3B iskelet görüntülerinin zamansal ve geometrik özniteliklerini çıkartıp, SoftMax yöntemi ile sınıflandırmaktadır. Önerdiğimiz ikinci yöntem ise, derin ağ tabanlıdır. Tasarladığımız İkiz LSTM-DML ağı, eylemlerin birbiri ile olan ilişkisini öğrenerek hareketleri tanımaktadır. Ağ iki farklı hareketi girdi olarak almaktadır. Her bir hareketin ağdaki LSTM alt ağları sayesinde zamansal öznitelikleri çıkarılmaktadır. Çift yönlü olarak parametre paylaşımı ile eğitilen ağ, hareketlerin derin metriklerini öğrenmektedir. Böylece baştan sona çalışan ağ, derin metrikleri kullanarak hareketleri sınıflandırabilmektedir. Sınıflandırma dışında hareketlerin benzerliklerini çıkarabilen yöntem diğer çalışmalara kıyasla daha genelleştirilebilirdir. Bu tez için iç mekânda spor ve gündelik hareketlerden oluşan GTU Action 3D veri kümesi oluşturulmuştur. Yöntemlerimiz kendi veri kümemize ek olarak Florence Action 3D, Microsoft, NTU RGB+D veri kümeleri üzerinde test edilmiş ve literatür çalışmaları ile karşılaştırılmıştır.

Özet (Çeviri)

Human action recognition, one of the crucial problems of the computer vision, is analyzing human actions via computers. Action recognition affects many research areas such as physiotherapy, surveillance, multimedia, biometrics and so on. Related works mainly focus on the patients' actions analysis, person recognition, surveillance for suspicious movements detection and daily activities (such as eating, drinking, sitting, etc.) and sports actions (such as running, diving, cycling, etc.) recognition. Human action data is acquired from 2D and 3D images. In addition to 2D images, 3D images contain the depth information for each pixel. Skeleton joint coordinates on 3D images provides a more efficient and more reliable way to represent human actions. In this work, we present two different methods for analyzing human actions on 3D skeleton images. The first method is a representation-based solution for human action recognition problem. This method, called the geometric bag of joints based human action recognition, utilizes the spatial-temporal behavior of 3D skeleton frames and uses SoftMax regression method to classify human actions. The other method is a deep neural network-based method. For this method, we designed a Siamese LSTM-DML network which learns the relationship between actions and recognizes human actions using this relationship information. For each action, sub-LSTM networks extract the temporal features of human actions. Using these features, the network is trained with two-way parameter sharing and learns the deep metrics of actions. Therefore, the end-to-end trainable network can classify human actions. Unlike the other method, this method is more generalizable and can learn the relationship between human actions. As a part of this study, we created a GTU Action 3D dataset that contains daily indoor activities and indoor sports actions. Our methods are tested against Florence Action 3D, MSR Action3D, NTU RGB+D datasets as well as our own dataset. Also, we compared our methods to related works.

Benzer Tezler

  1. Tez No

    587445

    Doğrusal motor sistemi üzerine 6 serbestlik derecesine sahip platform tasarımının yapılarak uygulanması ve yazılımın eniyileştirilmesi

    Applying the platform with 6 dof level by designing it on to a linear motor system and enhance its software

    VOLKAN ÖZTÜRK

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Mekatronik Mühendisliğiİstanbul Gelişim Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    PROF. DR. BEDRİ YÜKSEL

  2. Tez No

    31081

    Bilgisayar yardımlı modellemenin kulak rekonstrüksiyonundaki yeri

    Başlık çevirisi yok

    ZEKİ CAN

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    1993

    Plastik ve Rekonstrüktif CerrahiAnkara Üniversitesi

    Plastik ve Rekonstrüktif Cerrahi Ana Bilim Dalı

  3. Tez No

    517431

    Automatic posture evaluation for professional voice users

    Profesyonel ses kullanıcıları için otomatik postür değerlendirmesi

    ÇAĞATAY DEMİREL

    Yüksek Lisans

    İngilizce

    İngilizce

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. GÖKHAN İNCE

  4. Tez No

    848274

    MODELLING AND ESTIMATION OF SHIP MOTIONS

    GEMİ HAREKETLERİNİN MODELLENMESİ VE TAHMİNİ

    ALPER ZİHNİOĞLU

    Doktora

    İngilizce

    İngilizce

    2023

    Gemi Mühendisliğiİstanbul Teknik Üniversitesi

    Gemi İnşaatı ve Gemi Makineleri Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MELEK ERTOGAN

  5. Tez No

    675786

    Development of experimental captive and free-running manoeuvring systems and their cross-validation

    Çekme ve takip modlu manevra deney sistemlerinin geliştirilmesi ve bunların kıyaslamalı doğrulaması

    MÜNİR CANSIN ÖZDEN

    Doktora

    İngilizce

    İngilizce

    2021

    Gemi Mühendisliğiİstanbul Teknik Üniversitesi

    Gemi İnşaatı ve Gemi Makineleri Mühendisliği Ana Bilim Dalı

    PROF. DR. ÖMER GÖREN

    PROF. DR. KADİR SARIÖZ

Geri Dön