Design and implementation of speech to sign language translator system
İşaret dili çevirmen sistemi tasarımı ve uygulaması
- Tez No: 676070
- Danışmanlar: DR. ÖĞR. ÜYESİ HAKAN TORA
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Atılım Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 76
Özet
Sağlıklı ve sağır insanlar arasında yorumlama stratejileri tasarlamak için çok sayıda çaba sarf edilmiştir. Bu sistemlerin en önemlilerinden biri İnsan-Bilgisayar-Etkileşim (HCI) sistemleri olarak adlandırılan sistemlerdir. Bu alanda son yıllarda birçok işaret dili simülasyon çalışması geliştirilmektedir. Bu çabalar en fazla İşaret Dili'ni İngilizce konuşma ve metne, ayeti ise İngilizceye dönüştürmek için çalışıldı. Genellikle sağlıklı kişilerle Arap sağırları arasında minimum etkileşim vardır. Bu nedenle, normal kişiler ve Arap sağır topluluğu arasında daha iyi bir iletişim sağlamak için ArSL'yi Arapça konuşmaya veya metne çevirebilen bir dönüştürme sistemi tasarlamak çok önemlidir. Bu tezde, Konuşmadan İşaret diline çeviri sistemi yapılacaktır; hedef, Arap harflerinin konuşma sinyallerini standart Arap işaret diline çevirebilen bir çevirmen şeması tasarlamaktır. Bu devre, sağırlar ve normal insanlar arasındaki iletişim gibi çok sayıda uygulama için kullanılabilecek insan dostu bir program şemasını gerçekleştirmek için kullanılabilir. Sistem tasarım gereksinimlerini karşılamak için, veri toplama için konuşma sinyallerinin kaydedilmesi, ön işlemeden sonra özellik çıkarımı ve tanıma son adımı dahil olmak üzere çeşitli aşamalar gerçekleştirilmiştir. Daha sonra sistem, konuşulan harfin tersi olan parmak hareketlerinin görüntüsünü göstermek için çevirmen yapısına tanıma faktörlerini sağlar. Bu çalışmada Örüntü Tanıma Sinir Ağı (PRNN) kullanılmıştır. Girdi örneklerini istenen sınıflara ayırma yeteneğine sahip ileri beslemeli bir ağdır. Ağ, toplam 28 ana Arap harfinin her harfi için 20 örnek olmak üzere 560 eğitim örneği ile geri yayılım algoritması ile eğitilmiştir. Ardından, PRNN modelinin eşleşen çıktı etiketlerini ne kadar uygun tahmin ettiğini görmek için eğitilen model sırasıyla 140 ve 140 veri seti ile doğrulandı ve test edildi. Ağ, 28 sınıfın (harflerin) tamamı için başarıyla eğitilmiştir. Tanıma, %98'e varan mükemmel bir teşhis oranıyla sağlandı.
Özet (Çeviri)
Numerous efforts have been to design interpretation strategies between the healthy and deaf people. One of the most important of these systems is what called as Human-Computer-Interaction (HCI) systems. Many simulation works of sign language are evolved in the last years in this field. At most, these efforts have been worked to convert Sign Language into English speech and text, and verse versa. Usually there is minimal interaction between healthy persons and the Arabic deaf persons. So it is very important to design a conversion system that can translate ArSL into Arabic speech or text and vice versa to provide a better communication between normal persons and Arab deaf community. In this thesis, a translation system for Speech to Sign language will be accomplished; the target is to design a translator scheme that can translate the speech signals of Arabic letters into display the standard Arabic sign language. This circuit can be used to realize a human-friendly program scheme that can be used for numerous applications such as communication between the deaf and the normal people. Several stages have been carried out to gratify the system design requirements, including: recording the signals of speech for data collection, feature extraction after pre-processing, and the recognition final step. Then, the system provides the recognition factors to the translator structure, to display image of movements of fingers that antipodean the spoken letter. In this work, Pattern Recognition Neural Network (PRNN) was used. It is a feedforward network that has an ability of classifying input samples into desired classes. The network was trained with back-propagation algorithm by 560 training samples, 20 samples for each letter of the entire 28 main Arabic letters. Then, the trained model was validated and tested with 140 and 140 dataset respectively, to see how fit the PRNN model predicts the matching data set of output labels. The network is successfully trained for all 28 classes (letters). The recognition was achieved with an excellent diagnosis rate of up to 98%.
Benzer Tezler
- Bir türkçe fonem kümeleme sistemi tasarımı ve gerçekleştirimi
The Design and implementation of a Turkish speech phoneme clustering systems
HARUN ARTUNER
Doktora
Türkçe
1994
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ SAATÇİ
- Türkçe sesli ifade tanımada ses birim ve heceye dayalı çözümleme ve iyileştirmenin yapıldığı bir uzman sistemin tasarım ve gerçekleştirimi
Design and implementation of an expert system for analysis and optimization of Turkish speech recognition based on phoneme and syllable
SONER ERKAN YASAN
Yüksek Lisans
Türkçe
2001
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. HARUN ARTUNER
- Bir Türkçe sesli ifade tanıma sisteminin kural tabanlı tasarımı ve gerçekleştirimi
Rule based design and implementation of a speech recognition system for Turkish language
ERHAN MENGÜŞOĞLU
Yüksek Lisans
Türkçe
1999
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
YRD. DOÇ. DR. HARUN ARTUNER
- Sesli ifade tanıma için otomatik bir özellik çıkarımı dizgesinin tasarımı ve gerçekleştirimi
The Design and implementation of an automatic system for feature extraction for speech recognition
FERHAT YILMAZ SAVCI
Yüksek Lisans
Türkçe
1994
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ SAATÇİ
- İşitme engelli bireylerin eğitimi için sesi titreşime dönüştüren sistem tasarımı ve uygulaması
Design and implementation of voice to vibration transformation system for education of hearing impaired indivuals
UMUT ÇELİK
Yüksek Lisans
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDüzce ÜniversitesiElektrik-Elektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. RESUL KARA