Sign language recognition by image analysis
Görüntü işleme teknikleriyle işaret dili tanıma
- Tez No: 383042
- Danışmanlar: DOÇ. DR. MEHMET METE BULUT, PROF. DR. GÖZDE AKAR
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: İşaret Dili Tanıma, Bilgisayarla Görme, Otomatik Öğrenme, Ayrık Saklı Markov Modeli, Bulanık Kümelerin Ortalamasıyla Bölütleme, Baum Welch, Sign Language Recognition, Machine Vision, Machine Learning, Discrete Hidden Markov Model, Fuzzy C-Means Clustering, Baum Welch
- Yıl: 2015
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 98
Özet
İşaret Dili Tanıma (İDT) problemi işitme ve konuşma engelli insanlar arasındaki engeli aşma yeteneğinden dolayı, çok önemli bir araştırma konusudur. Ancak, mevcut yöntemlerin çeşitli sınırlamaları vardır. Çoğu uygulama kullanıcıların renkli veya algılayıcı tabanlı eldiven kullanmaları ya da özel bir kamera kullanımı gibi farklı ihtiyaçlar gerektirmektedir. Bu tez çalışmasında herhangi bir özel aksesuara gerek kalmadan kullanılabilen, basit, ancak güçlü bir sistem öneriyoruz. Önerilen sistem üç ana adımdan oluşmaktadır. İlk olarak Bulanık Kümelerin Ortalamasıyla Bölütleme (BKO) ve Eşikleme kullanılarak yüz ve el bölgesine bölütleme uygulanır. BKO tekrarlayıcı bir algoritmada bulanık bölümleme kullanan bir kümeleme tekniğidir. Yüz ve eller bölütlendikten sonra özellik vektörleri oluşturulur. Özellik vektörleri sınırlayıcı elips, sınırlayıcı kutu ve ağırlık merkezi koordinatları gibi düşük seviye özellikler arasından seçilir, çünkü onların düşük çözünürlüklü görüntülerden kaynaklanan bölütleme hatalarına karşı daha güçlü oldukları bilinmektedir. Her bir el için toplam 23 özellik vardır. Özellik vektörleri çıkartıldıktan sonra ayrık Saklı Markov Modeli (SMM) ile tanıma için kullanılmıştır. Tanıma evresi eğitim ve sınıflandırma olarak adlandırılan iki aşamadan oluşmaktadır. Baum Welch algoritması SMM öğrenmesi için kullanılmaktadır. Sınıflandırma bölümünde her SMM olasılığı hesaplanır ve en yüksek olasılıklı SMM seçilir. Sistemin başarı oranını ölçmek amacıyla, kullanıcı bağımlı ve bağımsız testler 10 Türk İşaret Dili jesti için yapılmıştır ve sistemin kullanıcı bağımsız durumda % 85.8 kullanıcı bağımlı durumda % 100 doğruluk ile çalıştığı görülmüştür.
Özet (Çeviri)
The Sign Language Recognition (SLR) Problem is a highly important research topic, because of its ability to increase the interaction between the people who are hearing-impaired or impediment in speech. However there are several limitations of the existing methods. Most applications need different necessities like making the user wear multi-colored or sensor based gloves or usage of a specific camera. We propose a simple but robust system that can be used without the need of any specific accessories. The proposed system consists of three main steps. First we apply segmentation to the face and hand region by using Fuzzy C-Means Clustering (FCM) and Thresholding. FCM is a clustering technique which employs fuzzy partitioning, in an iterative algorithm. After the face and hands are segmented, the feature vectors are extracted. The feature vectors are chosen among the low level features such as the bounding ellipse, bounding box, and center of mass coordinates, since they are known to be more robust to segmentation errors due to low resolution images. In total there are 23 features for each hand. After the feature vectors are extracted, they are used for recognition with discrete Hidden Markov Model (HMM). Recognition stage is composed of two stages, namely training and classification. The Baum Welch algorithm is used for HMM training. In classification part the likelihood of each HMM is calculated and the HMM with the highest likelihood is chosen. In order to measure the success rate of the system, user-dependent and independent tests were conducted for 10 Turkish Sign Language gesture and the system is shown to be working with 85.8% accuracy in the user independent case and 100% in user dependent case.
Benzer Tezler
- Kinect rgb görüntülerinde ve derinlik haritalarında uzam-zamansal özellikleri kullanarak işaret dili tanıma
Sign language recognition using spatio-temporal features on Kinect rgb video sequences and depth maps
ABBAS MEMİŞ
Yüksek Lisans
Türkçe
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. SONGÜL ALBAYRAK
- Disentangled representation learning in isolated sign language recognition
İzole işaret dili tanımada ayrıştırılmış temsil öğrenimi
İPEK ERDOĞAN
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İNCİ MELİHA BAYTAŞ
- Bilgisayarlı dudak okuma
Automatic lipreading
ZAFER YAVUZ
Yüksek Lisans
Türkçe
2007
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKaradeniz Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. VASİF V. NABİYEV
- Derin evrişimsel sinir ağlarını kullanılarak araç, insan ve trafik işaretlerinin tanınması
Recognition of vehicle, human and traffic signs using deep convolutional neural networks
GÜLYETER ÖZTÜRK
Yüksek Lisans
Türkçe
2020
Mekatronik MühendisliğiSakarya Uygulamalı Bilimler ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. RAŞİT KÖKER
- Twitter verisi üzerinde Covid-19'a karşı etkili olan ilaçların doğal dil işleme kullanılarak analizi
Analysis of drugs effective against Covid-19 using natural language processing on Twitter data
ORHAN TALHA KUM
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SEFER BADAY