Turkish sign language recognition using residual neural network
Artık sinir ağı kullanılarak Türk işaret dili tanıma
- Tez No: 833301
- Danışmanlar: DR. OSMAN AKIN, DOÇ. DR. HACER YALIM KELEŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: OSTİM TEKNİK ÜNİVERSİTESİ
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 55
Özet
İşaret dili, işitme engellilerin birbirleriyle iletişim kurarken el hareketlerini kullanarak oluşturdukları görsel bir dildir. Her kültür için ayrı bir işaret dili mevcut olup ve küresel ölçekte ortak olarak kullanılan bir işaret dili bulunmamaktadır. Bu dili kullananların halihazırda diğer bireylerle iletişime geçme noktasında büyük zorluklar yaşadıkları görülmektedir. Ancak, özellikle son zamanlarda geliştirilen state-of-art modeller sayesinde işaret dili tanıma problemi kapsamında büyük yol kat edilmiştir. Öte yandan, tüm bu çalışmalara rağmen, çözüm günlük hayattaki beklentilerimizi karşılamamaktadır. Bu çalışmaları daha da ileri götürerek günlük hayatta kullanılacak hale getirme arzusu bizi bu araştırmayı gerçekleştirmeye motive etmiştir. Araştırmamızda, ilk olarak SLR problemini çözmek için Artık LSTM modeli önerdik. İkinci olarak ise, geliştirdiğimiz modeli doğru bir şekilde eğitebilmek için önemli olan verileri toplamak amacıyla poz tabanlı araştırmacılar için ön işleme adımlarını basitleştiren ve gerçek zamanlı tanıma fırsatları ortaya çıkaran etkili bir veri oluşturma algoritması sunduk. Ardından veri toplama algoritmamızı test etmek adına 10 işaretçi ile 120 işaret içeren ve her işaret için 120 video oluşturacak şekilde 14.400 videoluk bir veri kümesi oluşturduk. Bu veri setimizi oluştururken her video için 90 kare olmak üzere üç farklı açıdan tekrarlı şekilde örnekler aldık. Tanıma performansı kapsamında değerlendirildiğinde yaklaşımımızın ciddi bir başarı elde ettiği görülmektedir. Çalışmamızın en önemli kısmı ise LSTM modeline eklediğimiz artık bağlantılardır. Hem kendi veri setlerimizde hem de AUTSL veri seti üzerinde yaptığımız deneyler sonucu ümit verici ve geliştirilmeye açık bir algoritma oluşturduğumuzu gözlemledik. Aldığımız sonuçlar ile, poz temelli yukarıdan aşağıya yaklaşımların SLR görevlerindeki yüksek seviyedeki etkinliğini gösterdik. Gelecekte yapılacak çalışmalar çerçevesinde amacımız, gerçek zamanlı tanıma kapsamında ses simülasyonunu da modele dahil edilmesidir.
Özet (Çeviri)
Sign language is a visual language created by hearing impaired people using hand movements to communicate with each other. There is a separate sign language for each culture, and there is no common sign language used on a global scale. It is seen that those who use this language currently face great challenges in communicating with other individuals. However, great progress has been made in the field of sign language recognition, especially thanks to the state-of-art models developed recently. On the other hand, despite all these efforts, the solution does not meet our expectations in daily life. The desire to take these studies further and make them usable in daily life motivated us to conduct this study. In our research, we first proposed the Residual LSTM model to solve the SLR problem. Secondly, we provided an effective data generation algorithm that simplifies preprocessing steps for pose-based researchers and opens up real-time recognition opportunities to collect data to accurately train the model we developed. Then, to test our data collection algorithm, we created a dataset of 14,400 videos, including 10 signers and 120 signs and 120 videos for each sign. We took samples from three different angles in repititive manner and 90 frames for each video while creating this dataset. We have seen that our approach has achieved significant success within the scope of recognition performance. The most important part of our work is the residual connections we added to the LSTM model. As a result of the experiments we conducted on both our own data sets and the AUTSL data set, we observed that we created a promising algorithm that is open to improvement. We demonstrated the high effectiveness of pose-based top-down approaches in SLR tasks in the light of our results. Within the scope of future studies, our aim is to include sound simulation in the model within the scope of real-time recognition.
Benzer Tezler
- İlgi bölgeleri ve yerel tanımlayıcılar ile genelleştirilmiş Hough dönüşümü ve en az eylemsizlik ekseni tabanlı hizalama yaklaşımı ile Türk işaret dili tanıma sistemi
Turkish sign language recognition using generalized Hough transform with interest regions and local descriptors, and using axis of least inertia based alignment
OĞUZ ALTUN
Doktora
Türkçe
2010
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. SONGÜL ALBAYRAK
- Kinect rgb görüntülerinde ve derinlik haritalarında uzam-zamansal özellikleri kullanarak işaret dili tanıma
Sign language recognition using spatio-temporal features on Kinect rgb video sequences and depth maps
ABBAS MEMİŞ
Yüksek Lisans
Türkçe
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. SONGÜL ALBAYRAK
- Derin öğrenme yöntemi kullanılarak görüntü-tabanlı türk işaret dili tanıma
Image-based turkish sign language recognition using deep learning method
ELİF EZEL
Yüksek Lisans
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSelçuk ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖMER KAAN BAYKAN
- Makine öğrenmesi algoritmalarıyla Türk işaret dilinde harf ve dinamik sözcük tanıma
Alphabet and dynamic word recognition in Turkish sign language with machine learning algorithms
ZEKERİYA KATILMIŞ
Doktora
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBilecik Şeyh Edebali ÜniversitesiElektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. CİHAN KARAKUZU
- Hand gesture recognition using artifical neural networks
El işaretlerinin yapay sinir ağları ile algılanması
GÖRKEM GÖKNAR
Yüksek Lisans
İngilizce
2005
Elektrik ve Elektronik MühendisliğiYeditepe ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ.DR. TÜLAY YILDIRIM