Derin öğrenme yöntemleri ile Türk işaret dilinin öğrenilmesi
Turkish sign language recognition with deep learning methods
- Tez No: 943141
- Danışmanlar: DOÇ. DR. KENAN ÇİÇEK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Iğdır Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Ana Bilim Dalı
- Bilim Dalı: Elektronik Bilim Dalı
- Sayfa Sayısı: 87
Özet
İşaret dili, sağır ve dilsiz bireylerin duygu ve düşüncelerini çevrelerine daha rahat bir şekilde iletmek için kullandıkları bir iletişim aracıdır. Sesli iletişimden farklı olarak işaret dili, parmak, el, kol, vücut duruşu, jest ve mimik gibi vücudun farklı bölgelerinin kullanıldığı ve her birinin belirli bir anlam ifade ettiği sözsüz bir iletişim şekline sahiptir. İşaret dili, sağır ve dilsiz bireyler ile toplumun geri kalan bireyleri arasındaki iletişimde kilit bir role sahiptir. Normal insanlar arasında işaret dili çok yaygın bilinen bir iletişim dili değildir. Bu yüzden, engelli bireylerin günümüz dünyasına ayak uydurmaları için genellikle bir tercümana ihtiyaçları vardır. Günümüzün hızla gelişen teknoloji dünyasında insan-bilgisayar etkileşiminin gelişmesiyle birlikte, böyle bir gereksinime olan ihtiyacı karşılamak adına araştırmacılar tarafından birçok işaret dili çeviri sistemleri geliştirilmiştir. Bu çalışmada, Türk işaret dili çeviri sisteminde gerçek zamanlı el hareketi tanıma üzerine odaklanılmıştır. Gerçek zamanlı ve yüksek performanslı bir algılama sağlamak için son teknoloji nesne algılama algoritması olan Evrişimli Sinir Ağı (ESA) tabanlı YOLOv4-CSP kullanılmıştır. YOLOv4-CSP algoritması, ağın performansını iyileştirmek için orijinal YOLOv4'ün boyun kısmına CSPNet eklenmesiyle oluşturulmuştur. YOLOv3, YOLOv3-SPP ve YOLOv4-CSP modelleri, Türk İşaret dilindeki rakamlardan oluşan etiketli veri seti ile eğitilerek yapılan el işaretlerinin algılanması üzerindeki performansları karşılaştırılmıştır. Önerilen yöntem ile 9.8 milisaniyede kesinlik %98,84, geri çağıma %97,27, F1-skor puanı 98,04 ve mAP %99,32 sonuçlar elde edilmiştir. Türk işaret dilinde önerilen yöntem, arka plandan bağımsız olarak hem gerçek zamanlı performans hem de doğru el işaretini tahmin etmesi ile diğer algoritmalardan daha iyi performans göstermiştir.
Özet (Çeviri)
Sign language is a communication tool that deaf and dumb people use to convey their feelings, thoughts, desires, etc. to the outside of their world. Unlike verbal communication, sign language has a form of nonverbal communication in which different parts of the body such as fingers, hands, arms, body postures, gestures and facial expressions are used and each of them has a certain meaning. Sign language has a key role in communication between deaf and dumb individuals and the rest of the society. Sign language is not a widely known communication language among normal people. Therefore, deaf and dumb people often need an interpreter to interact with today's world. With the development of human-computer interaction in today's rapidly developing technology world, many sign language recognition systems have been developed by researchers in order to meet the need for such a requirement. This study focuses on real-time hand gesture recognition in Turkish sign language recognition system. YOLOv4-CSP based on Convolutional Neural Network (CNN), a state-of-the- art object detection algorithm, was used to provide real-time and a high-performance detection. The YOLOv4-CSP algorithm was created by adding CSPNet to the neck of the original YOLOv4 to improve network performance. YOLOv3, YOLOv3-SPP and YOLOv4-CSP models were trained with a labeled data set consisting of numbers in Turkish Sign language, and their performances on the hand signals recognition were compared. With the proposed method, 98,84% accuracy, 97.27% recall, 98.04 F1-score score and 99,32% mAP results were obtained in 9.8 milliseconds. The proposed method for detecting numbers in Turkish sign language outperformed other algorithms with both real-time performance and accurate hand sign prediction, regardless of background.
Benzer Tezler
- Derin öğrenme ile gerçek zamanlı türkçe işaret dili ifade tanıma
Real-time recognition of turkish sign language expression using deep learning
CUMHUR TORUN
Doktora
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKastamonu ÜniversitesiMalzeme Bilimi ve Mühendisliği Ana Bilim Dalı
DOÇ. DR. ABDULKADİR KARACI
- Deep learning based dynamic turkish sign language recognition with leap motion
Derin öğrenme tabanlı leap motıon ile dinamik türk işaret dili tanıma
BURÇAK DEMİRCİOĞLU KAM
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Türk işaret dilinde kelime tabanlı derin öğrenme uygulaması
Deep learning algorithms to recognize word based Turkish sign language
MEHMET ERKUŞ
Yüksek Lisans
Türkçe
2020
Elektrik ve Elektronik MühendisliğiBaşkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SELDA GÜNEY
- Continuous sign language translation on the new educational Turkish sign language dataset (E-TSL) using neural machine translation methods
Yeni eğitimsel Türk işaret dili veri kümesi (E-TSL) kullanarak nöral makine dönüşümü yöntemleri ile sürekli işaret dili çevirisi
ŞÜKRÜ ÖZTÜRK
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HACER YALIM KELEŞ
- İşaret dili tanımada derin öğrenme ile istatistiksel yöntemlerin karşılaştırılması
Comparison of deep learning and statistical methods in sign language recognition
CANER DOĞAN
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara Üniversitesiİstatistik Ana Bilim Dalı
DOÇ. DR. LEVENT ÖZBEK