Derin öğrenme ile gerçek zamanlı türkçe işaret dili ifade tanıma
Real-time recognition of turkish sign language expression using deep learning
- Tez No: 953216
- Danışmanlar: DOÇ. DR. ABDULKADİR KARACI
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Kastamonu Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Malzeme Bilimi ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 117
Özet
Bu çalışma, Türk İşaret Dili (TİD) ifadelerinin gerçek zamanlı tanınmasını sağlamak amacıyla MediaPipe tabanlı iskelet verisi çıkarımı ve derin öğrenme modellerinin kullanımını kapsamaktadır. Çalışmanın temel amacı, işaret dili bilmeyen bireylerin TİD kullanıcılarıyla daha etkili iletişim kurmasını sağlamak ve işitme engelli bireylerin toplumsal entegrasyonunu desteklemektir. Bu doğrultuda, Millî Eğitim Bakanlığı'nın TİD Dersi Öğretim Materyali esas alınarak 446 kelimeden oluşan özgün bir veri seti geliştirilmiş ve TurkSign446 olarak adlandırılmıştır. Hem statik hem de dinamik işaretleri içeren bu veri seti, cihazdan bağımsız ve kapsamlı bir yapıda oluşturulmuş; MediaPipe Holistic kütüphanesi aracılığıyla vücut, el ve yüz anahtar noktalarından elde edilen iskelet görüntüleriyle desteklenmiştir. Veri seti %70 eğitim, %10 doğrulama ve %20 test olmak üzere dışarda tutma (hold-out) yöntemiyle ayrılmıştır. Bu veriler üzerinde LSTM, Bi-LSTM, GRU ve CNN gibi temel modellerin yanı sıra CNN+GRU, CNN+LSTM, CNN+BiLSTM, GRU+LSTM ve GRU+BiLSTM gibi hibrit mimariler de eğitilmiş; en yüksek test doğruluğu %97,72 ile CNN+GRU modeli tarafından elde edilmiştir. Bu model, eğitim sürecine dâhil edilmiş ve edilmemiş iki farklı katılımcı üzerinden gerçek zamanlı olarak test edilmiş; kelimeler için 10 tekrar içeren senaryolar sonucunda sırasıyla %85,50 ve %80,26 genel başarı oranlarına ulaşılmıştır. Ayrıca, her kelimeye ait 30 çerçevelik iskelet görüntüleri; ızgara, optik akış ve yatay birleştirme yöntemleriyle farklı temsillere dönüştürülmüş ve bu temsiller üzerinden ResNet18 ile dikkat mekanizması içeren CBAM+ResNet18 mimarileri eğitilmiştir. En yüksek doğruluk değeri, %97,30 ile CBAM+ResNet18 modeli ve optik akış temsili kullanılarak elde edilmiştir. Sonuç olarak, TurkSign446 veri seti ve bu çalışma kapsamında uygulanan derin öğrenme tabanlı yaklaşımlar, Türk İşaret Dili'nin gerçek zamanlı tanınmasına yönelik önemli bir temel oluşturmaktadır. Çalışma, hem akademik araştırmalarda hem de uygulamalı sistem geliştirmelerinde kullanılabilir niteliktedir. Gelecekte, veri setinin genişletilmesi ve hibrit modellerin daha karmaşık ifadeleri tanıyacak biçimde optimize edilmesi planlanmaktadır.
Özet (Çeviri)
This study focuses on the use of MediaPipe-based skeleton data extraction and deep learning models to enable the real-time recognition of Turkish Sign Language (TİD) expressions. The primary objective is to facilitate more effective communication between individuals who do not know sign language and TİD users, thereby promoting the social inclusion of hearing-impaired individuals. In this context, an original dataset consisting of 446 words was developed based on the Turkish Ministry of National Education's TİD Course Teaching Material and named TurkSign446. This dataset includes both static and dynamic signs and was constructed to be comprehensive and device-independent. Skeleton images were obtained using the MediaPipe Holistic library by capturing keypoints from the body, hands, and face. The dataset was split using the hold-out method into 70% for training, 10% for validation, and 20% for testing. On this dataset, various baseline models such as LSTM, Bi-LSTM, GRU, and CNN were trained, along with hybrid architectures including CNN+GRU, CNN+LSTM, CNN+BiLSTM, GRU+LSTM and, GRU+BiLSTM. The highest test accuracy of 97.72% was achieved with the CNN+GRU model. This model was also tested in real time with two participants—one included in the training data and one excluded. In test scenarios involving 10 repetitions, overall success rates of 85.50% and 80.26% were recorded for the seen and unseen participants, respectively. Additionally, for each word, 30-frame skeleton sequences were transformed into different visual representations using grid, optical flow, and horizontal concatenation methods. Based on these representations, ResNet18 and CBAM+ResNet18 architectures (the latter incorporating an attention mechanism) were trained. The highest recognition accuracy 97.30% was obtained using the CBAM+ResNet18 model with optical flow data. In conclusion, the TurkSign446 dataset and the deep learning-based approaches implemented in this study provide a significant foundation for real-time recognition of Turkish Sign Language. The results indicate that the system is applicable for both academic research and practical deployments. In future work, it is planned to expand the dataset and further optimize hybrid models to recognize more complex sign language expressions.
Benzer Tezler
- Derin öğrenme yöntemleri ile Türk işaret dilinin öğrenilmesi
Turkish sign language recognition with deep learning methods
MELEK ALAFTEKİN ÇAKMAK
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolIğdır ÜniversitesiElektrik-Elektronik Ana Bilim Dalı
DOÇ. DR. KENAN ÇİÇEK
- Türk işaret dilinde kelime tabanlı derin öğrenme uygulaması
Deep learning algorithms to recognize word based Turkish sign language
MEHMET ERKUŞ
Yüksek Lisans
Türkçe
2020
Elektrik ve Elektronik MühendisliğiBaşkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SELDA GÜNEY
- Wolfgang Borcherts Stellungnahme zum Krieg in seinen Kurzgeschichten ab 1945
Başlık çevirisi yok
ZEKİ KARAKAYA
- Türk işaret dili alfabesinin derin öğrenme yöntemi ile sınıflandırılması
Classification of turkish sign language alphabet with deep learning method
ZEREN BERNA KIN
Yüksek Lisans
Türkçe
2019
Elektrik ve Elektronik MühendisliğiBaşkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HAMİT ERDEM
- Görsel dikkat modeli ve derin öğrenme yöntemleri kullanılarak geniş dağarcıklı ayrık işaret dili tanıma sisteminin modellenmesi
Modeling a large vocabulary isolated sign language recognition system using visual attention model and deep learning methods
ÖZGE MERCANOĞLU SİNCAN
Doktora
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HACER YALIM KELEŞ
