Türkçe otomatik konuşma tanıma ve işaret diline çevirme
Automatic speech recognition and sign language translation for Turkish
- Tez No: 659718
- Danışmanlar: PROF. DR. HAMİT ERDEM
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Başkent Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 87
Özet
Bu tezde, işitme engelli insanlar ile işitme engelli olmayan insanların aktif iletişimine yardımcı olabilecek bir sistem üzerinde çalışılmaktadır. Sistem genel olarak, iki adımda çalışmaktadır. İlk olarak konuşma metne çevrilir. Daha sonra metnin karşılık geldiği işaret dili videosu gösterilir. Metne çevrim aşamasında, Türk Dili incelenmiş olup fonem tabanlı bir dildir. Endüstri, güvenlik, iletişim ve robotik sistemlerin gelişmesiyle Otomatik Konuşma tanıma (ASR) tabanlı uygulamaların kullanımı gün geçtikçe artmaktadır. Teknolojik gelişmelerle beraber, birçok dilde ASR uygulamaları sıkça yaygınlaşırken, Türkçe, Fince ve Macarca gibi sondan eklemeli dil gruplarında bu uygulamalar çok fazla değildir. Türkçe hece yapısı olarak sondan eklemeli bir morfolojiye sahiptir. Bu yapısı sözcük dağarcığında büyük bir artışa neden olmaktadır. Sistem ileriye dönük olarak, veri tabanı haricindeki kelimeleri de yaklaşık olarak tespit edebilsin diye fonem ve alt kelime tabanlı bir tanıma sistemi tasarlanmıştır. Klasik yöntemlerin yanı sıra, akıllı ve öğrenebilen yöntemler de bu alanda sıkça kullanılmaktadır Bu çalışmada, Türk dilinde ASR problemi çözümüne yönelik güncel Derin Öğrenme kapsamlı uygulamalar geliştirilmiştir. Çalışmamızın, Konuşma Tanıma adımında klasik yöntemlerle beraber, Derin İnanç Ağları (DBN), Uzun-Kısa Vadeli Hafıza Ağları (LSTM) ve Geçitli Tekrarlayan Birimler (GRU) Derin Öğrenme teknikleri uygulanıp performansları karşılaştırılmıştır. En başarılı yöntemin dil modellemenin de Derin öğrenme ile yapıldığı GRU metodu ile olduğu görülmüştür. Yöntemlerin performansı, standart ölçütlere göre karşılaştırılmıştır. Yapılan çalışma, ASR uygulamaları ile ilgili bir taraftan konuyu detaylı araştırırken, yöntemin uygulama biçimi hakkında da detaylı bilgi vermiştir. Konuşma tanımda adımında Türkçe için yapılan iyileştirmeden sonra, konuşmanın yazıya dönüştürülmesi ile elde ettiğimiz kelimenin İşaret Dilinde hangi işarete karşılık geldiği bulunarak ve bu işaret videolarıyla Türk İşaret Diline çevrimi de gerçekleştirilmiştir. Türkçe için literatürde görünmeyen, Türkçe Konuşmayı Türk İşaret Diline çeviren bu çalışma, Türkçe konuşma tanıma sistemlerinde performans artırma ve işitme engelli insanların hayatını kolaylaştırmak için öncü bir çalışma olduğu düşünülmüştür.
Özet (Çeviri)
In this thesis, we are working on a system that can help people with hearing impairments to communicate actively with people who are not hearing impaired. The system generally works in two steps. First, the speech is translated into text. The sign language animation or video to which the text corresponds is then shown. During the translation into text phase, Turkish Language has been analyzed and it is a phoneme-based language. With the development of industry, security, communication and robotic systems, the use of Automatic Speech recognition (ASR) based applications is increasing day by day. Along with technological developments, while ASR applications are becoming common in many languages, these applications are not much in agglutinative language groups such as Turkish, Finnish and Hungarian. Turkish has an additive morphology as a syllable structure. This structure causes a great increase in vocabulary. A phoneme and subword based recognition system has been designed for the future so that the system can detect the words other than the database approximately. In addition to classical methods, intelligent and learning methods are frequently used in this field. In this study, current Deep Learning comprehensive applications have been developed for solving the ASR problem in Turkish language. In the Speech Recognition step of our study, Deep Belief Networks (DBN), Long-Short-Term Memory Networks (LSTM) and Gated Repetitive Units (GRU) Deep Learning techniques were applied and their performances were compared. It has been seen that the most successful method is with the GRU method, where language modeling is also done with deep learning. The performance of the methods was compared against standard criteria. The study, while investigating the subject in detail about the ASR applications, also gave detailed information about the application method of the method. After the improvement made for Turkish in the step of speech definition, the word we obtained by converting the speech into writing was found to correspond to the sign in Sign Language and translated into Turkish Sign Language with these sign videos. This study, which does not appear in the literature for Turkish, converts Turkish Speech to Turkish Sign Language, is thought to be a pioneering work to increase performance in Turkish speech recognition systems and facilitate the lives of hearing impaired people.
Benzer Tezler
- İşaret dili ile akıllı kontrol sistemi
Smart controlling devices system with sign language
ZAINAB SHUKUR MAHMOOD MAHMOOD
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSelçuk ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SAİT ALİ UYMAZ
- Automatic speech recognition system for Turkish spoken language
Türkçe dili için otomatik konuşma tanıma sistemi
DOĞAN DALVA
Yüksek Lisans
İngilizce
2012
Elektrik ve Elektronik MühendisliğiIşık ÜniversitesiElektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. HAKAN GÜRKAN
YRD. DOÇ. DR. ÜMİT GÜZ
- Otomatik tanımlama ve veri toplama teknikleri ve barkod destekli depo otomasyonu uygulaması
Başlık çevirisi yok
E. SONER ÇELİKKOL
- Sesini kaybetmiş hastaların, eski ses kayıtlarından özgün ses üretme algoritmasının (SÜA) geliştirilmesi
Based on its original form, a novel voice production algorithm for dysphoina patients
BURAK ŞİŞMAN
Doktora
Türkçe
2014
Elektrik ve Elektronik Mühendisliğiİstanbul ÜniversitesiEnformatik Ana Bilim Dalı
PROF. DR. BEKİR SIDDIK BİNBOĞA YARMAN
- Derin evrişimsel sinir ağlarını kullanılarak araç, insan ve trafik işaretlerinin tanınması
Recognition of vehicle, human and traffic signs using deep convolutional neural networks
GÜLYETER ÖZTÜRK
Yüksek Lisans
Türkçe
2020
Mekatronik MühendisliğiSakarya Uygulamalı Bilimler ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. RAŞİT KÖKER