Geri Dön

A method for isolated sign recognition with Kinect

Kinect ile yalıtılmış işaret algılama için bir yöntem

  1. Tez No: 385091
  2. Yazar: EMRE IŞIKLIGİL
  3. Danışmanlar: YRD. DOÇ. DR. SİNAN KALKAN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2014
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 88

Özet

İşaret dili algılama ( ̇IDA) üstüne çeşitli araştırma çalışmaları olmasına rağmen, bunların birçoğu renkli eldiven ve ivme ölçer gibi aksesuarlar kullanmakta veya çalışmak için karmaşık ortam kurulumları gerektirmektedir. Benim tezimde, İDA için veri edinmek için sadece Microsoft Kinect duyargasını kullanacağım. Kinect, vücut eklemlerinin 3 boyutlu konumlarını, başka bir cihaza gerek duymadan gerçek zamanlı olarak elde edebilmemizi sağlamaktadır. Bir yalıtılmış işaret yakalandıktan sonra, ayırd edici vücut eklemlerinin izlediği yollar çıkarılmaktadır. Sonra, bir yalıtılmış işareti betimlemek için, çıkarılan yollardan oluşan bir vektör, işaret çizgesi, oluşturulmaktadır. İki işaret çizgesini karşılaştırmak için, bir uzaklık ölçütü olarak, işaret çizgelerinin içerdiği eklem yollarının ortalama eğrilme uzaklığını kullanmayı öner- mekteyim. Devingen Zaman Eğrilmesi, eğrilme mesafelerinin verimli olarak hesaplanması için kullanılmaktadır. İki işaret çizgesi arasında bir mesafe ölçüsü tanımlandıktan sonra, k En Yakın Komşu yöntemi kullanılarak sınıflandırılmaktadırlar. Önerilen yöntem mevcut yöntemlerden daha iyi sonuçlar vermiştir ve 13 farklı işaretçiden elde edilen 40 farklı işaret içeren bir veri kümesi ile yapılan işaretçi-bağımsız deneylerde 59.3%, işaretçi-bağımlı deneylerde 91.0% algılama oranlarına ulaşmıştır.

Özet (Çeviri)

Although there are various studies on sign language recognition (SLR), most of them use accessories like coloured gloves and accelerometers for data acquisition or require complex environmental setup to operate. In my thesis, I will use only Microsoft Kinect sensor for acquiring data for SLR. Kinect lets us obtain 3D positions of the body joints in real time without the help of any other device. After an isolated sign is captured, paths of the discriminative body joints are extracted. Then, a vector consisting of the extracted paths, called Sign Graph, is created to describe the isolated sign. To be able to compare two sign graphs, as the distance metric, I propose using the average warping distance of the joint paths that the sign graphs include. Dynamic Time Warping is used for effective calculation of the warping distance. Once a distance measure is defined between Sign Graphs, they are classified using k Nearest Neighbours algorithm. The proposed method performed better than the state of the art and achieved recognition rate of 59.3% in signer-independent experiments and 91.0% in signer-dependent experiments with a dataset consisting of 40 signs obtained from 13 different signers.

Benzer Tezler

  1. Derin öğrenme yöntemleri kullanarak etkin ayrık işaret dili tanıma sistemi geliştirme

    Development of an efficient isolated sign language recognition system based on deep learning methods

    ANIL OSMAN TUR

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HACER YALIM KELEŞ

  2. Evrişimsel sinir ağları kullanılarak video tabanlı izole işaret dili tanıma

    Video-based isolated sign language recognition using convolutional neural networks

    ALİ AKDAĞ

    Doktora

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKonya Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ÖMER KAAN BAYKAN

  3. Transfer learning for sign language recognition

    İşaret dili tanıma ı̇çin öğrenme transferi

    AHMET ALP KINDIROĞLU

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. LALE AKARUN ERSOY

  4. Isolated sign language classification using hand descriptors and trajectory based methods

    El betimleyicileri ve gezinge tabanlı yöntemler kullanarak yalıtılmış işaret dili sınıflandırma

    OĞULCAN ÖZDEMİR

    Yüksek Lisans

    İngilizce

    İngilizce

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. LALE AKARUN ERSOY

  5. Derin öğrenme mimarileri kullanılarak ayrık video görüntüleri üzerinden işaret dili tanıma

    Isolated sign language recognition using deep learning architectures

    CEMİL GÜNDÜZ

    Doktora

    Türkçe

    Türkçe

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi Üniversitesi

    Bilişim Sistemleri Ana Bilim Dalı

    DOÇ. DR. HÜSEYİN POLAT