Isolated sign language classification using hand descriptors and trajectory based methods
El betimleyicileri ve gezinge tabanlı yöntemler kullanarak yalıtılmış işaret dili sınıflandırma
- Tez No: 523077
- Danışmanlar: PROF. DR. LALE AKARUN ERSOY
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 109
Özet
Bu tezde, büyük ölçekli insan eylemi tanıma problemi için önerilmiş olan bir yöntem olan Geliştirilmiş Yoğun Gezingeler yöntemini uyarlayıp basitleştirdiğimiz bir işaret dili tanıma sistemi önerilmektedir. İşaret dili tanıma problemi çoğunlukla el hareketleri, vücut duruşu ve yüz ifadesine odaklandığı için, Geliştirilmiş Yoğun Gezingeler özniteliklerini çıkartıldıktan sonra elde edilen gezinge koordinatları poz çıkartma ile elde edilmiş olan el koordinatları ile eşleştirerek el çevresindeki gezingeler ayrılmıştır. Gezinge filtrelemesine ek olarak, bu çalışmada bir uzam-zamansal öznitelik çıkartma yöntemi olan El Betimleyicileri işaret dili tanıma için önerilmiştir. Önerdiğimiz bu yöntemde, sol ve sağ ellerin etrafından uzam-zamansal betimleyiciler elde edilmektedir. Betimleyiciler elde edildikten sonra, her bir işaret videosu, eğitim betimleyicilerinden elde edilen Gauss Karışım Modelinden türetilen Fisher Vektörler olarak tanımlanmıştır. Sonrasında, bu Fisher Vektörler işaret dili sınıflandırması yapmak için eğitilecek bir Destek Vektör Makinesine girdi olarak verilmektedir. Sistemi öznitelik çıkartma hızı, hesaplama karmaşıklığı ve bellek gereksinimi açısından değerlendirmek için BosphorusSign veri setinin alt kümeleri üzerinde deneyler yapılmıştır. Yapılan bu deneylerde, bütün öznitelik türlerinde, bütün betimleyicilerin beraber kullanıldığı durumda sistem en iyi tanıma performasını elde etmiştir. Yörünge filtreleme yöntemi temel yönteme yakın bir tanıma performansı verdiği gibi aynı zamanda yörüngelerin sayısını büyük bir ölçüde azaltmıştır. Ayrıca, farklı parametreler ve video çözünürlükleri kullanmanın El Betimleyicilerinin performansı üzerindeki etkisini analiz ettik. Bu çalışmada yaptığımız deneyler, el bölgesinden elde edilen betimleyicilerin işaret dili sınıflandıran sistemimiz için en önemli öznitelikleri barındırdığını göstermiştir.
Özet (Çeviri)
In this thesis, we propose a sign language recognition system in which we have adapted and simplified the Improved Dense Trajectory (IDT) approach which was originally proposed for large-scale human action recognition problem. Since the sign language recognition problem mostly focuses on hand gestures, body posture and facial expressions, we have extracted IDT features and filtered the trajectories around the hand region by matching the trajectory coordinates with hand coordinates obtained by pose extraction. In addition to trajectory filtering, we also propose Hand Descriptors, a spatio-temporal feature extraction method, for sign language recognition. In our proposed method, we extract spatio-temporal descriptors around left and right hands. After descriptor extraction, we encoded each sign video as Fisher Vectors which were derived from a Gaussian Mixture Model which was estimated from the training descriptors. Then, we have trained Support Vector Machines to perform sign language classification using the Fisher Vectors as its inputs. We have conducted experiments on two subsets of the BosphorusSign dataset and evaluated the performance of the system in terms of feature extraction speed, computational complexity and memory requirement. In our experiments, the combination of all descriptors yields the best recognition performance on both subsets for both features. We have found that trajectory filtering approach yields a similar recognition performance to the baseline approach while the number of trajectories are drastically reduced. Moreover, we have analysed the effects of using different parameters and video resolutions on the performance of the Hand Descriptors. Our experiments have shown that hand region produces the most important features in our sign language classification system.
Benzer Tezler
- Evrişimsel sinir ağları kullanılarak video tabanlı izole işaret dili tanıma
Video-based isolated sign language recognition using convolutional neural networks
ALİ AKDAĞ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKonya Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÖMER KAAN BAYKAN
- Score level multi cue fusion for sign language recognition
İşaret dili tanıma için sonuç seviyesinde çoklu ipucu kaynaşımı
ÇAĞRI GÖKÇE
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. LALE AKARUN ERSOY
- Attention modeling with temporal shift in sign language recognition
İşaret dili tanımada zamansal kayma ile dikkat modellemesi
AHMET FARUK ÇELİMLİ
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. LALE AKARUN ERSOY
- Türkçe metinlerde duygu analizi
Sentiment analysis in Turkish texts
CUMALİ TÜRKMENOĞLU
Yüksek Lisans
Türkçe
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. AHMET CÜNEYD TANTUĞ
- Disentangled representation learning in isolated sign language recognition
İzole işaret dili tanımada ayrıştırılmış temsil öğrenimi
İPEK ERDOĞAN
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İNCİ MELİHA BAYTAŞ