Geri Dön

Design and implementation of speech to sign language translator system

İşaret dili çevirmen sistemi tasarımı ve uygulaması

  1. Tez No: 676070
  2. Yazar: AHMED HASHIM HAMZA TAMEEMI
  3. Danışmanlar: DR. ÖĞR. ÜYESİ HAKAN TORA
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: İngilizce
  9. Üniversite: Atılım Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 76

Özet

Sağlıklı ve sağır insanlar arasında yorumlama stratejileri tasarlamak için çok sayıda çaba sarf edilmiştir. Bu sistemlerin en önemlilerinden biri İnsan-Bilgisayar-Etkileşim (HCI) sistemleri olarak adlandırılan sistemlerdir. Bu alanda son yıllarda birçok işaret dili simülasyon çalışması geliştirilmektedir. Bu çabalar en fazla İşaret Dili'ni İngilizce konuşma ve metne, ayeti ise İngilizceye dönüştürmek için çalışıldı. Genellikle sağlıklı kişilerle Arap sağırları arasında minimum etkileşim vardır. Bu nedenle, normal kişiler ve Arap sağır topluluğu arasında daha iyi bir iletişim sağlamak için ArSL'yi Arapça konuşmaya veya metne çevirebilen bir dönüştürme sistemi tasarlamak çok önemlidir. Bu tezde, Konuşmadan İşaret diline çeviri sistemi yapılacaktır; hedef, Arap harflerinin konuşma sinyallerini standart Arap işaret diline çevirebilen bir çevirmen şeması tasarlamaktır. Bu devre, sağırlar ve normal insanlar arasındaki iletişim gibi çok sayıda uygulama için kullanılabilecek insan dostu bir program şemasını gerçekleştirmek için kullanılabilir. Sistem tasarım gereksinimlerini karşılamak için, veri toplama için konuşma sinyallerinin kaydedilmesi, ön işlemeden sonra özellik çıkarımı ve tanıma son adımı dahil olmak üzere çeşitli aşamalar gerçekleştirilmiştir. Daha sonra sistem, konuşulan harfin tersi olan parmak hareketlerinin görüntüsünü göstermek için çevirmen yapısına tanıma faktörlerini sağlar. Bu çalışmada Örüntü Tanıma Sinir Ağı (PRNN) kullanılmıştır. Girdi örneklerini istenen sınıflara ayırma yeteneğine sahip ileri beslemeli bir ağdır. Ağ, toplam 28 ana Arap harfinin her harfi için 20 örnek olmak üzere 560 eğitim örneği ile geri yayılım algoritması ile eğitilmiştir. Ardından, PRNN modelinin eşleşen çıktı etiketlerini ne kadar uygun tahmin ettiğini görmek için eğitilen model sırasıyla 140 ve 140 veri seti ile doğrulandı ve test edildi. Ağ, 28 sınıfın (harflerin) tamamı için başarıyla eğitilmiştir. Tanıma, %98'e varan mükemmel bir teşhis oranıyla sağlandı.

Özet (Çeviri)

Numerous efforts have been to design interpretation strategies between the healthy and deaf people. One of the most important of these systems is what called as Human-Computer-Interaction (HCI) systems. Many simulation works of sign language are evolved in the last years in this field. At most, these efforts have been worked to convert Sign Language into English speech and text, and verse versa. Usually there is minimal interaction between healthy persons and the Arabic deaf persons. So it is very important to design a conversion system that can translate ArSL into Arabic speech or text and vice versa to provide a better communication between normal persons and Arab deaf community. In this thesis, a translation system for Speech to Sign language will be accomplished; the target is to design a translator scheme that can translate the speech signals of Arabic letters into display the standard Arabic sign language. This circuit can be used to realize a human-friendly program scheme that can be used for numerous applications such as communication between the deaf and the normal people. Several stages have been carried out to gratify the system design requirements, including: recording the signals of speech for data collection, feature extraction after pre-processing, and the recognition final step. Then, the system provides the recognition factors to the translator structure, to display image of movements of fingers that antipodean the spoken letter. In this work, Pattern Recognition Neural Network (PRNN) was used. It is a feedforward network that has an ability of classifying input samples into desired classes. The network was trained with back-propagation algorithm by 560 training samples, 20 samples for each letter of the entire 28 main Arabic letters. Then, the trained model was validated and tested with 140 and 140 dataset respectively, to see how fit the PRNN model predicts the matching data set of output labels. The network is successfully trained for all 28 classes (letters). The recognition was achieved with an excellent diagnosis rate of up to 98%.

Benzer Tezler

  1. Bir türkçe fonem kümeleme sistemi tasarımı ve gerçekleştirimi

    The Design and implementation of a Turkish speech phoneme clustering systems

    HARUN ARTUNER

    Doktora

    Türkçe

    Türkçe

    1994

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    PROF. DR. ALİ SAATÇİ

  2. Türkçe sesli ifade tanımada ses birim ve heceye dayalı çözümleme ve iyileştirmenin yapıldığı bir uzman sistemin tasarım ve gerçekleştirimi

    Design and implementation of an expert system for analysis and optimization of Turkish speech recognition based on phoneme and syllable

    SONER ERKAN YASAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2001

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. HARUN ARTUNER

  3. Bir Türkçe sesli ifade tanıma sisteminin kural tabanlı tasarımı ve gerçekleştirimi

    Rule based design and implementation of a speech recognition system for Turkish language

    ERHAN MENGÜŞOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    1999

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe Üniversitesi

    Bilgisayar Bilimleri Ana Bilim Dalı

    YRD. DOÇ. DR. HARUN ARTUNER

  4. Sesli ifade tanıma için otomatik bir özellik çıkarımı dizgesinin tasarımı ve gerçekleştirimi

    The Design and implementation of an automatic system for feature extraction for speech recognition

    FERHAT YILMAZ SAVCI

    Yüksek Lisans

    Türkçe

    Türkçe

    1994

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    PROF. DR. ALİ SAATÇİ

  5. İşitme engelli bireylerin eğitimi için sesi titreşime dönüştüren sistem tasarımı ve uygulaması

    Design and implementation of voice to vibration transformation system for education of hearing impaired indivuals

    UMUT ÇELİK

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDüzce Üniversitesi

    Elektrik-Elektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. RESUL KARA