İşaret dili tanımada derin öğrenme ile istatistiksel yöntemlerin karşılaştırılması
Comparison of deep learning and statistical methods in sign language recognition
- Tez No: 920980
- Danışmanlar: DOÇ. DR. LEVENT ÖZBEK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, İletişim Bilimleri, İstatistik, Computer Engineering and Computer Science and Control, Communication Sciences, Statistics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: İstatistik Ana Bilim Dalı
- Bilim Dalı: İstatistik Bilim Dalı
- Sayfa Sayısı: 155
Özet
Bu çalışmada, Türk İşaret Dili tanıma alanında derin öğrenme yaklaşımlarının istatistiksel analizi ve performans karşılaştırması gerçekleştirilmiştir. Derin öğrenme modellerinin performans değerlendirmesi, hiperparametre optimizasyonu ve model seçimi süreçlerinde istatistiksel analizler kritik bir rol oynamaktadır. Bu bağlamda, Evrişimsel Sinir Ağları (CNN), Uzun Kısa Süreli Bellek (LSTM) ve CNN-LSTM hibrit modellerinin işaret dili tanımadaki etkinliği istatistiksel metrikler kullanılarak karşılaştırılmıştır. MediaPipe çerçevesi ile elde edilen el ve poz özellikleri üzerinden geliştirilen modeller, Aile ve Sosyal Hizmetler Bakanlığı tarafından oluşturulan ASBTSL veri kümesinden seçilen, en sık kullanılan 20 isim türü Türk İşaret Dili kategorisini içeren 9188 videodan oluşan veri seti ile eğitilmiştir. Veri seti %70 eğitim, %15 doğrulama ve %15 test olarak bölünmüştür. Modellerin performansı, olasılık teorisi ve istatistiksel çıkarım yöntemleri ışığında doğruluk, kesinlik, duyarlılık ve F1 skoru gibi metriklerle değerlendirilmiştir. CNN-LSTM hibrit modeli, %90,19 doğruluk oranıyla en yüksek performansı göstermiştir. Bu araştırma, derin öğrenme süreçlerinde istatistiksel analizlerin önemini vurgulamakta ve işaret dili tanıma alanındaki çalışmalara katkı sağlamaktadır. Bu alanda geliştirilecek uygulamalar için sağlam bir temel sunmaktadır.
Özet (Çeviri)
A statistical analysis and performance comparison of deep learning approaches in Turkish Sign Language recognition has been conducted. Statistical analyses play a critical role in the performance evaluation, hyperparameter optimization, and model selection processes of deep learning models. In this context, the effectiveness of Convolutional Neural Networks (CNN), Long Short-Term Memory (LSTM), and CNN-LSTM hybrid models in sign language recognition has been compared using statistical metrics. The models, developed using hand and pose features obtained through the MediaPipe framework, were trained on a dataset consisting of 9188 videos containing the 20 most frequently used noun-type Turkish Sign Language categories, selected from the ASBTSL dataset created by the Ministry of Family and Social Services. The dataset was split into 70% training, 15% validation, and 15% testing subsets. The models' performance was evaluated using metrics such as accuracy, precision, recall, and F1 score in the context of probability theory and statistical inference methods. The CNN-LSTM hybrid model achieved the highest performance with an accuracy rate of 90.19%. This research emphasizes the importance of statistical analyses in deep learning processes and contributes to studies in the field of sign language recognition. It provides a solid foundation for future applications to be developed in this area.
Benzer Tezler
- Attention modeling with temporal shift in sign language recognition
İşaret dili tanımada zamansal kayma ile dikkat modellemesi
AHMET FARUK ÇELİMLİ
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. LALE AKARUN ERSOY
- Advancing sign language recognition through novel comprehensive dataset creation and robust methodologies
Yeni ve kapsamlı veri seti oluşturma ve gürbüz metodolojiler geliştirerek işaret dili tanımada ilerleme
AREZOO SADEGHZADEH KOGAJEHSOLTAN
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MD BAHARUL ISLAM
DR. ÖĞR. ÜYESİ TARKAN AYDIN
- Evrişimsel sinir ağları kullanılarak video tabanlı izole işaret dili tanıma
Video-based isolated sign language recognition using convolutional neural networks
ALİ AKDAĞ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKonya Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÖMER KAAN BAYKAN
- Türkçe otomatik konuşma tanıma ve işaret diline çevirme
Automatic speech recognition and sign language translation for Turkish
BURAK TOMBALOĞLU
Doktora
Türkçe
2021
Elektrik ve Elektronik MühendisliğiBaşkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HAMİT ERDEM
- Görsel dikkat modeli ve derin öğrenme yöntemleri kullanılarak geniş dağarcıklı ayrık işaret dili tanıma sisteminin modellenmesi
Modeling a large vocabulary isolated sign language recognition system using visual attention model and deep learning methods
ÖZGE MERCANOĞLU SİNCAN
Doktora
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HACER YALIM KELEŞ