İşaret dilinin derin öğrenme yöntemleriyle metin haline dönüştürülmesi
Converting sign language into text using deep learning methods
- Tez No: 856106
- Danışmanlar: DOÇ. DR. RAMAZAN TEKİN
- Tez Türü: Yüksek Lisans
- Konular: Bilim ve Teknoloji, Science and Technology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Batman Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgi Teknolojileri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 74
Özet
İşitme ve duyma engelli bireyler, çevreleriyle iletişim kurarken ciddi zorluklar yaşamaktadırlar. Bu tez, gerçek zamanlı işaret dili tanıma sistemi ile bu soruna çözüm getirmeyi hedeflemektedir. Çalışma kapsamında, literatürde sıkça rastlanan 17 kelimeden oluşan bir veri seti, 5 denek tarafından özel olarak hazırlanmıştır. MediaPipe kitaplığındaki insan poz tahmin sistemi kullanılarak, kelimelerin anahtar noktaları başarıyla çıkarılmıştır. Bu anahtar noktalar, derin öğrenme modellerinden LSTM mimarisi ile sınıflandırılmıştır. Çalışma kapsamında kişi bağımlı ve kişi bağımsız iki ayrı uygulama yapılarak test veri seti üzerinde sırasıyla %94,71 ve %87,65 oranında doğruluk elde edilmiştir. Bu önerilen sistemin, işitme ve konuşma engelli bireylerin günlük iletişimlerini iyileştirmek adına literatürdeki diğer çalışmalara kıyasla yeterli seviyede performansa sahip bir çözüm ortaya konulduğu değerlendirilmektedir.
Özet (Çeviri)
Individuals with hearing and speech impairments experience serious difficulties in communicating with their surroundings. This thesis aims to address this issue with a real-time sign language recognition system. Within the scope of the study, a dataset consisting of 17 frequently encountered words in the literature was specially prepared by 5 subjects. The key points of the words were successfully extracted using the human pose estimation system in the MediaPipe library. These key points were classified using the LSTM architecture of deep learning models, and the obtained results provided 99% accuracy. This proposed system offers an effective solution to improve the daily communication of individuals with hearing and speech impairments.
Benzer Tezler
- Classification of hand sign language using deep learning algorithm
Deep kullanılarak el işaret dilinin sınıflandırılması öğrenme
ISRAA ADIL MOHAMMED ALYSADEN
Yüksek Lisans
İngilizce
2024
Bilgi ve Belge YönetimiAltınbaş ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. OSMAN NURİ UÇAN
- Türk işaret dili alfabesinin derin öğrenme yöntemi ile sınıflandırılması
Classification of turkish sign language alphabet with deep learning method
ZEREN BERNA KIN
Yüksek Lisans
Türkçe
2019
Elektrik ve Elektronik MühendisliğiBaşkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HAMİT ERDEM
- Derin öğrenme kullanarak işaret dili rakam tanıma
Sign language digit recognition using deep learning
HACER GÜLER
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. MURAT HÜSNÜ SAZLI
- Evrişimsel sinir ağları kullanılarak video tabanlı izole işaret dili tanıma
Video-based isolated sign language recognition using convolutional neural networks
ALİ AKDAĞ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKonya Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÖMER KAAN BAYKAN
- American sign language recognitionusing YOLOv4 method
Amerikan işaret dili tanımıYOLOv4 yöntemini kullanma
ALI MAHMOOD SHAKIR AL-SHAHEEN
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MESUT ÇEVİK