Türk işaret dilinde kelime tabanlı derin öğrenme uygulaması
Deep learning algorithms to recognize word based Turkish sign language
- Tez No: 633732
- Danışmanlar: DR. ÖĞR. ÜYESİ SELDA GÜNEY
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: Türkçe
- Üniversite: Başkent Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 83
Özet
İşaret dili, işitme sorunu olan kişilerin kendilerini ifade etmek için kullandıkları bir görsel iletişim şeklidir. Bu çalışmanın temel amacı, işitme sorunu olan kişilerin yaşamını kolaylaştırmaktır. Bu çalışma kapsamında, üç farklı kişiden alınan 32 sınıf için 3200 adet RGB görüntü kullanılarak bir veri seti elde edilmiştir. Veri kümelerine veri artırma yöntemleri uygulanmış, görüntü sayısı her bir sınıf için 600 adet olacak şekilde toplam 3200'den, 19200'e yükseltilmiştir. İşaretlerin sınıflandırılması için hem problemin çözümüne yönelik 10 katmanlı bir evrişimli derin ağ modeli oluşturulmuş hem de derin öğrenme yöntemlerinden biri olan aktarımlı öğrenme yöntemi kullanılarak hazır modellerden VGG166, Inception ve ResNet derin ağ mimarileri kullanılmıştır. Ayrıca derin öğrenmenin öznitelik çıkarımı tekniğinden faydalanılarak elde edilen öznitelik vektörü ile geleneksel makine öğrenme yöntemlerinden olan Destek Vektör Makineleri (Support Vector Machines, SVM) ve K- En Yakın Komşu(K- Nearest Neighbor, K-NN) yöntemleri ile sınıflandırılmıştır. Elde edilen sonuçlar zaman ve başarım oranlarına göre kıyaslanarak, en başarılı yöntem belirlenmiştir. Bu çalışmada, görsel bir dil olan Türk İşaret Dili (TİD)'ne ait durağan kelimelerin yapılan analizler sonucunda başarılı bulunan derin öğrenme yöntemlerinden biri olan aktarımlı öğrenme kullanılarak gerçek zamanlı yazılı dile çevrilmesi sağlanmıştır. Ayrıca, tasarlanan bu gerçek zamanlı sistem ile TİD durağan kelimelere ait işaretleri tanıma ve tahminini bilgisayar ekranına yazdırmasındaki başarısı değerlendirilmiştir.
Özet (Çeviri)
Sign language is a form of visual communication used by people with hearing problems to express themselves. The main purpose of this study is to make life easier for people with hearing problems. In this study, a data set was obtained using 3200 RGB images for 32 classes taken from three different people. Data development methods were applied to the data sets and the number of images was increased from 3200 to 19200, 600 per class. For the classification of the signs, both a 10-layer convolutional deep network model was created for the solution of the problem, and VGG166, Inception and ResNet deep network architectures, which are one of the deep learning methods, were applied by using transfer learning method. In addition, the signs are classified using the Support Vector Machines (SVM) and K- Nearest Neighbor (K-Nearest Neighbor, K-NN) methods, which are the traditional machine learning methods, with the feature vector obtained by using the feature extraction technique of deep learning. The most successful method was determined by comparing the obtained results according to time and performance ratios. In this study, stationary words belonging to Turkish Sign Language (TSL), which is a visual language, are translated into real time written language by using transfer learning with one of the deep learning methods, which is successful as a result of the analysis. In addition, with the real-time system designed, its success in recognizing the stationary words of TSL signs and printing its prediction on the computer screen were evaluated.
Benzer Tezler
- Deep learning based dynamic turkish sign language recognition with leap motion
Derin öğrenme tabanlı leap motıon ile dinamik türk işaret dili tanıma
BURÇAK DEMİRCİOĞLU KAM
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Türkçe otomatik konuşma tanıma ve işaret diline çevirme
Automatic speech recognition and sign language translation for Turkish
BURAK TOMBALOĞLU
Doktora
Türkçe
2021
Elektrik ve Elektronik MühendisliğiBaşkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HAMİT ERDEM
- Assistant humanoid robots for sign language tutoring
İnsansı robot destekli işaret dili öğretimi
NEZİHA AKALIN
Yüksek Lisans
İngilizce
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. HATİCE KÖSE
- Robot and avatar based interactive system for children's education
Çocuk eğitimi için tasarlanmış robot ve avatar destekli etkileşimli sistem
RABİA YORGANCI KINDIROĞLU
Yüksek Lisans
İngilizce
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Gesture imitation learning in human-robot interaction
Taklit yolu ile hareket öğrenme ınsan robot etkileşimi
ITAUMA ISONG ITAUMA
Yüksek Lisans
İngilizce
2012
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. HATİCE KÖSE-BAĞCİ