A method for isolated sign recognition with Kinect
Kinect ile yalıtılmış işaret algılama için bir yöntem
- Tez No: 385091
- Danışmanlar: YRD. DOÇ. DR. SİNAN KALKAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2014
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 88
Özet
İşaret dili algılama ( ̇IDA) üstüne çeşitli araştırma çalışmaları olmasına rağmen, bunların birçoğu renkli eldiven ve ivme ölçer gibi aksesuarlar kullanmakta veya çalışmak için karmaşık ortam kurulumları gerektirmektedir. Benim tezimde, İDA için veri edinmek için sadece Microsoft Kinect duyargasını kullanacağım. Kinect, vücut eklemlerinin 3 boyutlu konumlarını, başka bir cihaza gerek duymadan gerçek zamanlı olarak elde edebilmemizi sağlamaktadır. Bir yalıtılmış işaret yakalandıktan sonra, ayırd edici vücut eklemlerinin izlediği yollar çıkarılmaktadır. Sonra, bir yalıtılmış işareti betimlemek için, çıkarılan yollardan oluşan bir vektör, işaret çizgesi, oluşturulmaktadır. İki işaret çizgesini karşılaştırmak için, bir uzaklık ölçütü olarak, işaret çizgelerinin içerdiği eklem yollarının ortalama eğrilme uzaklığını kullanmayı öner- mekteyim. Devingen Zaman Eğrilmesi, eğrilme mesafelerinin verimli olarak hesaplanması için kullanılmaktadır. İki işaret çizgesi arasında bir mesafe ölçüsü tanımlandıktan sonra, k En Yakın Komşu yöntemi kullanılarak sınıflandırılmaktadırlar. Önerilen yöntem mevcut yöntemlerden daha iyi sonuçlar vermiştir ve 13 farklı işaretçiden elde edilen 40 farklı işaret içeren bir veri kümesi ile yapılan işaretçi-bağımsız deneylerde 59.3%, işaretçi-bağımlı deneylerde 91.0% algılama oranlarına ulaşmıştır.
Özet (Çeviri)
Although there are various studies on sign language recognition (SLR), most of them use accessories like coloured gloves and accelerometers for data acquisition or require complex environmental setup to operate. In my thesis, I will use only Microsoft Kinect sensor for acquiring data for SLR. Kinect lets us obtain 3D positions of the body joints in real time without the help of any other device. After an isolated sign is captured, paths of the discriminative body joints are extracted. Then, a vector consisting of the extracted paths, called Sign Graph, is created to describe the isolated sign. To be able to compare two sign graphs, as the distance metric, I propose using the average warping distance of the joint paths that the sign graphs include. Dynamic Time Warping is used for effective calculation of the warping distance. Once a distance measure is defined between Sign Graphs, they are classified using k Nearest Neighbours algorithm. The proposed method performed better than the state of the art and achieved recognition rate of 59.3% in signer-independent experiments and 91.0% in signer-dependent experiments with a dataset consisting of 40 signs obtained from 13 different signers.
Benzer Tezler
- Derin öğrenme yöntemleri kullanarak etkin ayrık işaret dili tanıma sistemi geliştirme
Development of an efficient isolated sign language recognition system based on deep learning methods
ANIL OSMAN TUR
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HACER YALIM KELEŞ
- Evrişimsel sinir ağları kullanılarak video tabanlı izole işaret dili tanıma
Video-based isolated sign language recognition using convolutional neural networks
ALİ AKDAĞ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKonya Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÖMER KAAN BAYKAN
- Transfer learning for sign language recognition
İşaret dili tanıma ı̇çin öğrenme transferi
AHMET ALP KINDIROĞLU
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. LALE AKARUN ERSOY
- Isolated sign language classification using hand descriptors and trajectory based methods
El betimleyicileri ve gezinge tabanlı yöntemler kullanarak yalıtılmış işaret dili sınıflandırma
OĞULCAN ÖZDEMİR
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. LALE AKARUN ERSOY
- Derin öğrenme mimarileri kullanılarak ayrık video görüntüleri üzerinden işaret dili tanıma
Isolated sign language recognition using deep learning architectures
CEMİL GÜNDÜZ
Doktora
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilişim Sistemleri Ana Bilim Dalı
DOÇ. DR. HÜSEYİN POLAT