Geri Dön

Sign language recognition by image analysis

Görüntü işleme teknikleriyle işaret dili tanıma

  1. Tez No: 383042
  2. Yazar: BUKET BÜYÜKSARAÇ
  3. Danışmanlar: DOÇ. DR. MEHMET METE BULUT, PROF. DR. GÖZDE AKAR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: İşaret Dili Tanıma, Bilgisayarla Görme, Otomatik Öğrenme, Ayrık Saklı Markov Modeli, Bulanık Kümelerin Ortalamasıyla Bölütleme, Baum Welch, Sign Language Recognition, Machine Vision, Machine Learning, Discrete Hidden Markov Model, Fuzzy C-Means Clustering, Baum Welch
  7. Yıl: 2015
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 98

Özet

İşaret Dili Tanıma (İDT) problemi işitme ve konuşma engelli insanlar arasındaki engeli aşma yeteneğinden dolayı, çok önemli bir araştırma konusudur. Ancak, mevcut yöntemlerin çeşitli sınırlamaları vardır. Çoğu uygulama kullanıcıların renkli veya algılayıcı tabanlı eldiven kullanmaları ya da özel bir kamera kullanımı gibi farklı ihtiyaçlar gerektirmektedir. Bu tez çalışmasında herhangi bir özel aksesuara gerek kalmadan kullanılabilen, basit, ancak güçlü bir sistem öneriyoruz. Önerilen sistem üç ana adımdan oluşmaktadır. İlk olarak Bulanık Kümelerin Ortalamasıyla Bölütleme (BKO) ve Eşikleme kullanılarak yüz ve el bölgesine bölütleme uygulanır. BKO tekrarlayıcı bir algoritmada bulanık bölümleme kullanan bir kümeleme tekniğidir. Yüz ve eller bölütlendikten sonra özellik vektörleri oluşturulur. Özellik vektörleri sınırlayıcı elips, sınırlayıcı kutu ve ağırlık merkezi koordinatları gibi düşük seviye özellikler arasından seçilir, çünkü onların düşük çözünürlüklü görüntülerden kaynaklanan bölütleme hatalarına karşı daha güçlü oldukları bilinmektedir. Her bir el için toplam 23 özellik vardır. Özellik vektörleri çıkartıldıktan sonra ayrık Saklı Markov Modeli (SMM) ile tanıma için kullanılmıştır. Tanıma evresi eğitim ve sınıflandırma olarak adlandırılan iki aşamadan oluşmaktadır. Baum Welch algoritması SMM öğrenmesi için kullanılmaktadır. Sınıflandırma bölümünde her SMM olasılığı hesaplanır ve en yüksek olasılıklı SMM seçilir. Sistemin başarı oranını ölçmek amacıyla, kullanıcı bağımlı ve bağımsız testler 10 Türk İşaret Dili jesti için yapılmıştır ve sistemin kullanıcı bağımsız durumda % 85.8 kullanıcı bağımlı durumda % 100 doğruluk ile çalıştığı görülmüştür.

Özet (Çeviri)

The Sign Language Recognition (SLR) Problem is a highly important research topic, because of its ability to increase the interaction between the people who are hearing-impaired or impediment in speech. However there are several limitations of the existing methods. Most applications need different necessities like making the user wear multi-colored or sensor based gloves or usage of a specific camera. We propose a simple but robust system that can be used without the need of any specific accessories. The proposed system consists of three main steps. First we apply segmentation to the face and hand region by using Fuzzy C-Means Clustering (FCM) and Thresholding. FCM is a clustering technique which employs fuzzy partitioning, in an iterative algorithm. After the face and hands are segmented, the feature vectors are extracted. The feature vectors are chosen among the low level features such as the bounding ellipse, bounding box, and center of mass coordinates, since they are known to be more robust to segmentation errors due to low resolution images. In total there are 23 features for each hand. After the feature vectors are extracted, they are used for recognition with discrete Hidden Markov Model (HMM). Recognition stage is composed of two stages, namely training and classification. The Baum Welch algorithm is used for HMM training. In classification part the likelihood of each HMM is calculated and the HMM with the highest likelihood is chosen. In order to measure the success rate of the system, user-dependent and independent tests were conducted for 10 Turkish Sign Language gesture and the system is shown to be working with 85.8% accuracy in the user independent case and 100% in user dependent case.

Benzer Tezler

  1. Kinect rgb görüntülerinde ve derinlik haritalarında uzam-zamansal özellikleri kullanarak işaret dili tanıma

    Sign language recognition using spatio-temporal features on Kinect rgb video sequences and depth maps

    ABBAS MEMİŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    2013

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. SONGÜL ALBAYRAK

  2. Disentangled representation learning in isolated sign language recognition

    İzole işaret dili tanımada ayrıştırılmış temsil öğrenimi

    İPEK ERDOĞAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ İNCİ MELİHA BAYTAŞ

  3. Bilgisayarlı dudak okuma

    Automatic lipreading

    ZAFER YAVUZ

    Yüksek Lisans

    Türkçe

    Türkçe

    2007

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKaradeniz Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. VASİF V. NABİYEV

  4. Derin evrişimsel sinir ağlarını kullanılarak araç, insan ve trafik işaretlerinin tanınması

    Recognition of vehicle, human and traffic signs using deep convolutional neural networks

    GÜLYETER ÖZTÜRK

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Mekatronik MühendisliğiSakarya Uygulamalı Bilimler Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    PROF. DR. RAŞİT KÖKER

  5. Twitter verisi üzerinde Covid-19'a karşı etkili olan ilaçların doğal dil işleme kullanılarak analizi

    Analysis of drugs effective against Covid-19 using natural language processing on Twitter data

    ORHAN TALHA KUM

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Bilimleri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ SEFER BADAY