Derin öğrenme yöntemi kullanılarak görüntü-tabanlı türk işaret dili tanıma
Image-based turkish sign language recognition using deep learning method
- Tez No: 517724
- Danışmanlar: DR. ÖĞR. ÜYESİ ÖMER KAAN BAYKAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Derin Öğrenme, Görüntü İşleme, İnsan-Bilgisayar Etkileşimi, İşaret Dili Tanıma, Konvolüsyonel Sinir Ağları, Convolutional Neural Networks, Deep Learning, Human-Computer Interaction, Image Processing, Sign Language Recognition
- Yıl: 2018
- Dil: Türkçe
- Üniversite: Selçuk Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 73
Özet
İşaret dili, işitme problemi yaşayan insanların kendilerini ifade etmek amacıyla kullandıkları görsel bir iletişim şeklidir. Bu çalışmanın temel hedefi, işitme problemi yaşayan insanların hayatını kolaylaştırmaktır. Bu tez çalışmasında, görsel bir dil olan Türk İşaret Dili (TİD) parmak alfabesine ait hareketlerin derin öğrenme yöntemlerinden biri olan Konvolüsyonel Sinir Ağları (Convolutional Neural Networks, CNN) kullanılarak yazı diline çevrilmesi sağlanmıştır. Bu çalışmada, klasik makine öğrenmesi yöntemleri yerine derin sinir ağları kullanılarak bu yapıların TİD parmak alfabesine ait işaretleri tanımadaki başarısı değerlendirilmiştir. Gerçekleştirilen tez çalışmasında, üç farklı bireyden alınan 522 adet renkli (RGB) görüntü kullanılarak veri seti oluşturulmuştur. Veri setinde bulunan RGB görüntülere ön-işleme ve segmentasyon işlemleri uygulanarak; yalnızca el bölgelerini içeren siyah beyaz görüntülerden oluşan yeni bir veri seti elde edilmiştir. Veri setlerine veri arttırma yöntemleri uygulanarak 522 olan görüntü sayısı 4176'ya çıkartılmış ve veri sayısını artırmanın sınıflandırma başarısını nasıl etkilediği değerlendirilmiştir. İşaretleri sınıflandırmak ve tanımak için hem tasarlanarak oluşturulan 14 katmanlı CNN yapısı hem de daha önceden eğitilmiş hazır bir model olan AlexNet yapısı kullanılmıştır. Siyah beyaz görüntülerden oluşan veri seti 14 katmanlı CNN yapısının giriş verisi olarak kullanılırken; RGB görüntülerden oluşan üç farklı veri seti ise AlexNet yapısının giriş verisi olarak kullanılmıştır. Ayrıca, siyah beyaz görüntülerden oluşan veri setine Yönlü Gradyanların Histogramı (Histogram of Oriented Gradients, HoG) özellik çıkarma yöntemi uygulanmış ve elde edilen öznitelik vektörü; Yapay Sinir Ağları (Artificial Neural Networks, ANN), Destek Vektör Makineleri (Support Vector Machines, SVM) ve Rastgele Orman (Random Forest, RF) sınıflandırma yöntemleri kullanılarak sınıflandırılmıştır. Elde edilen sonuçlar derin sinir ağları kullanılmasıyla elde edilen sonuçlarla karşılaştırılmış ve en başarılı yöntem belirlenmiştir.
Özet (Çeviri)
Sign language is a form of visual communication that people with hearing problems use to express themselves. The main goal of this study is to facilitate the life of people with hearing problems. In this study, it has been provided to translate the movements belonging to the Turkish Sign Language (TSL) finger alphabet, which is a visual language, into the written language using Convolutional Neural Networks (CNN), one of the deep learning methods. In this study, deep neural networks were used instead of classical machine learning methods and the success of these structures in recognizing the signs of the TSL finger alphabet was evaluated. In this thesis, a dataset was obtained using 522 RGB images taken from three different individuals. For RGB images in the dataset, pre-processing and segmentation were applied and a new dataset consisting of binary images containing only hand regions has been achieved. Data augmentation methods have been applied to the datasets, the number of images increased from 522 to 4176 and it was evaluated how increasing the number of data influences classification success. In order to classify and identify the signs, both the designed 14-layer CNN structure and the AlexNet structure, a pre-trained model, were used. While the binary image dataset was used as the input data for the 14-layer CNN structure, three different dataset consisting of RGB images were used as input data for the AlexNet structure. In addition, Histogram of Oriented Gradients (HoG) feature extraction method was applied to the binary image dataset and the obtained feature vector was used for classification using Artificial Neural Networks (ANN), Support Vector Machines (SVM) and Random Forest (RF). The results were compared and the most successful method was determined.
Benzer Tezler
- Türk işaret dilinde kelime tabanlı derin öğrenme uygulaması
Deep learning algorithms to recognize word based Turkish sign language
MEHMET ERKUŞ
Yüksek Lisans
Türkçe
2020
Elektrik ve Elektronik MühendisliğiBaşkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SELDA GÜNEY
- Deepfake image/video detection and classifications using deep learning techniques
Derin öğrenme teknikleri kullanılarak deepfake görüntü/video tespiti ve sınıflandırmaları
DEO RUTIKANGA
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTürk Hava Kurumu ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ZEYNEL DEPREM
- Otomatik görüntü tabanlı dudak okuma yöntemi ile acil durum kelimelerinin tespiti
Detection of emergency words with automatic image-based lip reading method
BEYZA ÜLKÜMEN
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKTO Karatay ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALİ ÖZTÜRK
- Using gene expression profiles of cancer patients with image-based deep learning approach to develop methods for classification and prediction of cancer while revealing critical genes
Kanser hastalarının gen ifade verileri kullanılarak kanserde kritik genlerin tanımlanması, kanser sınıflandırılması ve tahmini için görüntü-tabanlı derin öprenme yaklaşımı
BÜŞRA NUR DARENDELİ KİRAZ
Yüksek Lisans
İngilizce
2021
BiyomühendislikYıldız Teknik ÜniversitesiBiyomühendislik Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ALPER YILMAZ
- İnsansız hava aracından elde edilen görüntülerin derin öğrenme yöntemi ile iyileştirilmesi
Improvement of images obtained from unmanned aerial vehicle with deep learning method
HALİL İBRAHİM GÜMÜŞ
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiHavacılık Bilimi ve Teknolojileri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖMER OSMAN DURSUN