Geri Dön

İşaret dili karakterlerinin karmaşık değerli sinir ağları ile tanınması

Recognition of sign language characters using complex-valued neural networks

  1. Tez No: 903731
  2. Yazar: SELDA BAYRAK
  3. Danışmanlar: DOÇ. DR. VASİF NABİYEV
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: Türkçe
  9. Üniversite: Karadeniz Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 137

Özet

Teknolojik gelişmeler, sağır ve dilsiz bireylerin topluma entegrasyonunda önemli bir rol oynamaktadır. Bu nedenle, işaret dili tanıma sistemlerindeki iyileştirmeler büyük önem taşımaktadır. İşaret dilleri üzerine yapılan birçok çalışma gerçek sayılar kullanılarak gerçekleştirilmiştir. Bu çalışmada, görüntülerden öznitelik çıkarımı ve işaret dili alfabesi tanıma işlemlerini karmaşık sayılar kullanarak gerçekleştiren yeni bir yaklaşım sunulmaktadır. Bu bağlamda Amerikan işaret dili tanımaya yönelik bir model geliştirilmiştir. Geliştirilen modelde, karakter görüntülerinin öznitelik vektörünü elde etmek için karmaşık Zernike momentleri kullanılmıştır. Karmaşık sayılardan oluşan öznitelik vektörünü katmanlar arasında işleyebilen karmaşık değerli bir derin sinir ağı da geliştirilmiştir. Model, Sign Language MNIST veri setinde %89.01, Massey Üniversitesi veri setinde ise holdout tekniği ile %98.67, bir deneği dışarda bırakma tekniği ile %81.22 tanıma oranlarına veri ön işleme olmadan ulaşmıştır. Önerilen model aynı veri setlerini kullanan birçok çalışma ile ayrı ayrı karşılaştırılmış, iki veri seti bir arada değerlendirildiğinde en iyi performansı göstermiştir. Ayrıca önerilen yöntemi bünyesinde barındıran bir akıllı sistem de geliştirilmiştir.

Özet (Çeviri)

Technological advancements play a significant role in the integration of deaf and mute individuals into society. Therefore, further improvements in sign language recognition systems are of great importance. Many studies on sign languages have been conducted using real numbers. In this paper, a new approach is presented for performing feature extraction from images and sign language alphabet recognition using complex numbers. In this context, a model is developed for recognizing American sign language. In the developed model, complex Zernike moments are used to obtain the feature vector of character images. A complex valued deep neural network capable of processing the feature vector composed of complex numbers across layers is also developed. The model achieves recognition rates of 89.01% on the Sign Language MNIST dataset and 98.67% for the holdout and 81.22% for the leave-one-subject-out on the Massey University dataset, respectively, without any preprocessing. The proposed model, which is compared separately with many studies using the same datasets, shows the best performance when the two datasets are considered together. An intelligent system incorporating the proposed method has also been developed.

Benzer Tezler

  1. Tez No

    875740

    The effect of visual narrative language of color codes in Youssef Chahine's cinema

    Youssef Chahine sinemasında renk kodlarının görsel anlatı diline etkisi

    MARİAM MAHROUS

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Radyo-TelevizyonEge Üniversitesi

    Radyo Televizyon ve Sinema Ana Bilim Dalı

    PROF. DR. ALEV FATOŞ PARSA

    Assist. Prof. Dr. ELÇİN AS

  2. Tez No

    822030

    The theoretical formation of Mise en Abyme and its intertextual applicability in Michael Cunningham's The Hours

    Mise en Abyme'in teorik oluşumu ve Michael Cunningham'ın Saatler adlı eserinde metinlerarası ortaya çıkışı

    EGE İBRAHİM MÜLAYİM

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    İngiliz Dili ve EdebiyatıTekirdağ Namık Kemal Üniversitesi

    İngiliz Dili ve Edebiyatı Ana Bilim Dalı

    PROF. DR. TATIANA GOLBAN

  3. Tez No

    117596

    The Conflicting claims of psychological realism versus moral teaching in Richardson's novels

    Richardson'un romanlarındaki ahlaki ders ve psikolojik gerçekliği arasındaki çatışma

    NADİYA AHMED

    Doktora

    İngilizce

    İngilizce

    2002

    İngiliz Dili ve EdebiyatıAnkara Üniversitesi

    Batı Dilleri ve Edebiyatları Ana Bilim Dalı

    PROF.DR. ÜNAL AYTUR

  4. Tez No

    159934

    A study of Samuel Beckett's solipsistic antiheroes: Decentralisation of the self in Molloy, Malone Dies and The Unnamable

    Samuel Beckett'in tekbenci karşı-kahramanları üzerine bir inceleme: Molloy, Malone Dies (Malone Ölüyor) ve The unnameble (Adlandırılamayan) adlı romanlarında benliğin yitimi

    MEHMET BÜYÜKTUNCAY

    Yüksek Lisans

    İngilizce

    İngilizce

    2005

    İngiliz Dili ve EdebiyatıHacettepe Üniversitesi

    İngiliz Dili ve Edebiyatı Ana Bilim Dalı

    YRD. DOÇ. DR. ŞEBNEM KAYA

  5. Tez No

    230855

    Space and identity in Andrea Levy's and Zadie Smith's novels

    Andrea Levy ve Zadie Smith 'in romanlarında varlık alanı ve kimlik

    TAMILA ADILOVA

    Yüksek Lisans

    İngilizce

    İngilizce

    2008

    İngiliz Dili ve EdebiyatıEge Üniversitesi

    Eğitim Bilimleri Bölümü

    DOÇ. DR. REZZAN KOCAÖNER SİLKÜ

Geri Dön