Geri Dön

Real-time sign languages recognition by artificial neural networks

Yapay sı̇nı̇r ağları ı̇le ı̇şaret dı̇llerı̇nı̇n gerçek zamanlı tanınması

  1. Tez No: 498054
  2. Yazar: MOHAMMED NISHAM ANWER SAFAR
  3. Danışmanlar: YRD. DOÇ. DR. SERKAN ÖZBAY
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2017
  8. Dil: İngilizce
  9. Üniversite: Gaziantep Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Elektrik Elektronik Bilim Dalı
  13. Sayfa Sayısı: 129

Özet

Bu tez çalışmasında, iki farklı yaklaşım kullanılarak evrensel bir işaret dili tanıma sistemi önerilmiştir. Kullanımda çeşitli işaret dillerinin mevcut olması ile birlikte, önerilen sistem tanımayı evrensel yapmak için yaygın kabul gören üç işaret dilini, Amerikan İşaret Dili, İngiliz İşaret Dili ve Türkçe İşaret Dilini tanır. Önerilen yaklaşımlardan birincisi, özellik vektörleri olarak Hausdorff mesafesine ve Hu değişmezliklerine dayanmaktadır ve sistem önce el hareketlerini nasıl işleyeceğine odaklanır ve daha sonra Hausdorff mesafesi ve Hu değişmezlik ölçümleri yardımıyla farklı harfleri tanır. İkinci yaklaşım bir ileriye besleme sinir ağı yapısı tarafından gerçekleştirilir ve eğitim verileri ile birlikte üç farklı işaret dili alfabesi olarak tanınır. Deneysel sonuçlar sinir ağına dayalı yöntemin üstün performans sağladığını göstermekle birlikte her iki yaklaşımın başarılı bir şekilde çalıştığı gösterilmiştir. Bu iki sistem, işitme engelli insanlar için kolay ve etkili bir şekilde iletişim kurabildikleri ve hayatlarının pek çok yönünde zorluklarla karşılaşmadıkları için kullanışlıdır ve kolaydır.

Özet (Çeviri)

In this thesis, universal sign languages recognition system is proposed using two different approaches. Although a variety of sign languages exist in use, the proposed system recognizes three widely used sign languages as the American Sign Language, British Sign Language and Turkish Sign Language to make the recognition universal. One of the proposed approaches is primarily based on Hausdorff distance and Hu invariants as the feature vectors and the system first focuses on how to process the hand movements and then it recognizes the different letters by the help of Hausdorff distance and Hu invariants measurements. The second approach is implemented by a feed forward neural network structure and recognition is provided with training data as three different sign language alphabets. It is shown that both approaches operate successfully while experimental results demonstrate that neural network based method provides superior performance. These two systems are useful and handy for hearing impaired people as they can easily communicate and no longer face difficulties in so many aspects of their lives.

Benzer Tezler

  1. Arabic sign language recognition based on artificial intelligence techniques

    Yapay zeka teknikleriyle Arapça işaret dili tanıma

    MUSTAFA RAAD SABRI SABRI

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş Üniversitesi

    Bilişim Teknolojileri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ OĞUZ KARAN

  2. Twitter verisi üzerinde Covid-19'a karşı etkili olan ilaçların doğal dil işleme kullanılarak analizi

    Analysis of drugs effective against Covid-19 using natural language processing on Twitter data

    ORHAN TALHA KUM

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Bilimleri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ SEFER BADAY

  3. Yinelemeli sinir ağları ile işaret dili tanıma

    Sign language recognition with recurrent neural networks

    İBRAHİM ÇETİNKAYA

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    PROF. DR. TAMER ÖLMEZ

  4. İşaret dilinin derin öğrenme yöntemleriyle metin haline dönüştürülmesi

    Converting sign language into text using deep learning methods

    MELEK ECE ÇİFTÇİ

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Bilim ve TeknolojiBatman Üniversitesi

    Bilgi Teknolojileri Ana Bilim Dalı

    DOÇ. DR. RAMAZAN TEKİN

  5. Turkish sign language recognition using residual neural network

    Artık sinir ağı kullanılarak Türk işaret dili tanıma

    MUTLU GÜRELİ

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOSTİM TEKNİK ÜNİVERSİTESİ

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. OSMAN AKIN

    DOÇ. DR. HACER YALIM KELEŞ