Geri Dön

Derin öğrenme mimarileri kullanılarak ayrık video görüntüleri üzerinden işaret dili tanıma

Isolated sign language recognition using deep learning architectures

  1. Tez No: 729816
  2. Yazar: CEMİL GÜNDÜZ
  3. Danışmanlar: DOÇ. DR. HÜSEYİN POLAT
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: Türkçe
  9. Üniversite: Gazi Üniversitesi
  10. Enstitü: Bilişim Enstitüsü
  11. Ana Bilim Dalı: Bilişim Sistemleri Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 100

Özet

İşaret dilleri, işitme ve konuşma engelli bireylerin günlük yaşamda kullandıkları ana iletişim ortamları olan görsel dillerdir. Çok sayıda kanal üzerinden aktarılan işaretlerin bilgisayarlı tanınması sayesinde, işitme ve konuşma engelli bireyler hem diğer bireylerle hem de makineler ile iletişimlerini doğal şekilde yapabileceklerdir. Bu tez çalışmasında, derin öğrenme kullanılarak ayrık işaret dili videoları üzerinden işaret dili tanıma gerçekleştirilmiştir. BosphorusSign veri kümesinin“genel”isimli alt kümesi kullanılarak yapılan çalışmada, öncelikle veri artırma ve önişleme parametrelerinin belirlenmesi için çalışmalar yürütülmüştür. Ardından çeşitli derin öğrenme modelleri kullanılarak yapılan deneyler sonucunda işaret dili tanıma için kullanılabilecek uygun bir model belirlenmiştir. Daha sonra işaret dilindeki çeşitli kanalları ifade etmek üzere çıkarılan farklı veri kiplerinin tek başlarına ve çeşitli birleşimlerle başarımları değerlendirilmiştir. Bu sayede çok kipli bir işaret dili tanıma için kullanılacak en uygun veri kipi kombinasyonu elde edilmiştir. Son olarak, deneyler sonucunda elde edilen parametreler ve veri kiplerini kullanan çok kipli bir işaret dili tanıma modeli önerilmiştir. Önerilen model, RGB, eklem ve optik akış kiplerinde toplamda 6 farklı veri akışını bir arada girdi olarak almaktadır. Model bünyesindeki birleştirme mekanizması ile veri akışlarından çıkarılan öznitelikler birleştirilmiş ve derin öğrenme tabanlı sınıflandırıcı katmanlara aktarılmıştır. Uçtan uca bir yöntemle eğitilen bütünsel işaret dili tanıma modeli, kullanılan veri setinde görülen en yüksek başarım olan %89,3 doğruluk sunmuştur. Önerilen çok kipli işaret dili tanıma modelinin işaret dili tanıma başarımını iyileştirme konusunda geliştirilebilir bir potansiyeli vardır.

Özet (Çeviri)

Sign languages are visual languages, which are the main communication medium used by hearing and speech impaired individuals in their daily life. Thanks to the computer recognition of the signs transmitted over many channels, individuals with hearing and speech disabilities will be able to communicate naturally with both other individuals and machines. In this thesis, sign language recognition was carried out through isolated sign language videos using deep learning. In the study, first experiments were carried out to determine the data augmentation and preprocessing parameters using the“general”subset of the BosphorusSign dataset. Then, as a result of experiments using various deep learning models, a suitable model for sign language recognition was determined. After that, a set of studies were conducted using different data modalities. The performances of data modalities that extracted to express various channels in sign language were evaluated by themselves and with various combinations. In this way, the most suitable data modality combination to be used for a multimodal sign language recognition has been obtained. Lastly, a multimodal sign language recognition model is proposed which uses the parameters and data modalities obtained by the experiments. The proposed model takes a total of 6 different data streams as input in RGB, joint and optical flow modalities. The features extracted from the data streams are combined and transferred to the deep learning-based classifier layers with the help of a fusion mechanism in the model. The holistic sign language recognition model, trained with an end-to-end method, provided 89.3% accuracy which is the highest performance seen in the data set used. The proposed multimodal sign language recognition model has strong potential to improve sign language recognition performance.

Benzer Tezler

  1. Aircraft detection from large scale remote sensing images with deep learning techniques

    Büyük ölçekli uzaktan algılama görüntülerinden derin öğrenme teknikleriyle uçak tespiti

    MEHMET SOYDAŞ

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    İletişim Sistemleri Ana Bilim Dalı

    PROF. DR. ELİF SERTEL

  2. Derin öğrenme ile cerrahi video anlama

    Surgical video understanding with deep learning

    ABDISHAKOUR ABDILLAHI AWALE ABDISHAKOUR ABDILLAHI AWALE

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi Üniversitesi

    Bilişim Sistemleri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ DUYGU SARIKAYA

  3. Crowd localization and counting via deep flow maps

    Derin öğrenme ile çıkarılan hareket haritaları kullanılarak nesne kalabalıklarının tespiti ve sayımı

    PEDRAM YOUSEFI

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. BİLGE GÜNSEL

  4. Fake news classification using machine learning and deep learning approaches

    Makine öğrenimi ve derin öğrenme yaklaşımlarını kullanarak sahte haber sınıflandırması

    SAJA ABDULHALEEM MAHMOOD AL-OBAIDI

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ TUBA ÇAĞLIKANTAR

  5. Görsel dikkat modeli ve derin öğrenme yöntemleri kullanılarak geniş dağarcıklı ayrık işaret dili tanıma sisteminin modellenmesi

    Modeling a large vocabulary isolated sign language recognition system using visual attention model and deep learning methods

    ÖZGE MERCANOĞLU SİNCAN

    Doktora

    Türkçe

    Türkçe

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HACER YALIM KELEŞ