Geri Dön

Classification of hand sign language using deep learning algorithm

Deep kullanılarak el işaret dilinin sınıflandırılması öğrenme

  1. Tez No: 897191
  2. Yazar: ISRAA ADIL MOHAMMED ALYSADEN
  3. Danışmanlar: PROF. DR. OSMAN NURİ UÇAN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgi ve Belge Yönetimi, Information and Records Management
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: Altınbaş Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 65

Özet

İşitme engelli bireyler, iletişimin her alanında sosyal yaşamdaki pek çok sorunu sekteye uğratan pek çok sorunla karşı karşıyadır; bu nedenle etkili iletişim, bir ulusun gelişmesinde büyük önem taşımaktadır. Sağır olanlar da dahil olmak üzere toplumun tüm üyeleri arasında anlayış ve kapsayıcılığı teşvik eder. İyi iletişim, güçlü ve uyumlu bir toplum inşa etmenin ve sürdürmenin anahtarıdır. 29.000 işaret dili görseli kullandım, her sınıfta 1.000 görsel vardı. Sıfırdan bir model (ASL.model) oluşturdum ve bunu önceden var olan modellerle (Xception, Inception, ResNet, VGG16 ve MobileNet) karşılaştırdım. Doğrudan insan rehberliği olmadan faaliyetleri gerçekleştirebilen akıllı bilgisayarların incelenmesi, bilgisayar biliminde hızla büyüyen bir konu olan yapay zeka (AI) olarak biliniyor. Bu görevler öğrenmeyi, karar vermeyi ve problem çözmeyi içerebilir ve genellikle algoritmalar, veriler ve makine öğrenimi teknikleri kullanılarak gerçekleştirilir. Sınıflandırma için kullanılacak en uygun sınıflandırma özelliklerini bulmak amacıyla, Kaggle deposundan elde edilen fotoğrafları eğitim veri seti olarak kullanarak işaret dilini sınıflandırmaya yönelik bir model oluşturmak amacıyla bu tezde derin öğrenme teknikleri kullanılacaktır. Derin öğrenme, doğruluğu ve verimliliği nedeniyle artık çeşitli endüstrilerde yaygın olarak kullanılıyor; özellikle derin öğrenme algoritmalarının çok büyük, etiketli veri kümeleri kullanılarak öğretildiği fotoğraflar, sesler veya metinler gibi çok büyük ancak karmaşık veriler için. Bu tezde, işaret diliyle ilgili toplam yirmi dokuz dersi sınıflandırmak için derin öğrenmeyi kullandık. İşaret dilini kategorize etmek için yeni bir çerçeve ortaya koyduk. Önerilen model uygulamaya konuldu, eğitildi, doğrulandı ve test edildi. Model testi %99,97 başarı oranıyla geçti. Önerilen modelimizin (ASL.model) bu yöntemlerle etkinliğini değerlendirmek için ayrıca Evrişimli algoritmaları kullanan derin öğrenme algoritmalarının performansına yardımcı olacak önceden eğitilmiş beş model (Xception, Inception, ResNet, VGG16 ve MobileNet) kullandık. Sinir Ağları (CNN'ler). Önceden eğitilmiş beş modelin F1 puanı seviyeleri sırasıyla %100, %99,51, %99,87, %100 ve %99,68'di. Xception ve VGG16 modeli, test doğruluğu açısından diğerlerinden daha iyi performans gösterdi ancak test süresi 1,45 saniyeden küçük olduğunda önerilen model, zaman açısından diğer tüm modellerden daha iyi performans gösterdi.

Özet (Çeviri)

People with hearing disabilities face many problems, which impede many of their social life issues in all areas of communication, so effective communication is crucial in the development of a nation. It promotes understanding and inclusivity among all members of the community, including those who are deaf. Good communication is key to building and maintaining a strong, cohesive society. I used 29,000 sign language images, each class contained 1,000 images. I built a model from scratch (ASL.model) and compared it with pre-existing models (Xception, Inception, ResNet, VGG16 and MobileNet). The study of intelligent computers that can carry out activities without direct human guidance is known as artificial intelligence (AI), a fast-growing topic within computer science. These tasks may include learning, decision making, and problem solving, and they are often accomplished through the use of algorithms, data, and machine learning techniques. To find the most appropriate classification features to be used for classification, deep learning techniques will be employed in this thesis to create a model for classifying sign language utilizing photographs obtained from the Kaggle depository as a training data set. Deep learning is now widely employed across a variety of industries due to its accuracy and efficiency, particularly for vast yet complicated data, such as photos, sounds, or text, where deep learning algorithms are taught using massive, labeled data sets. In this thesis, we used deep learning to classify a total of twenty-nine sign language-related classes. We put forth a fresh framework for categorizing sign language. The suggested model was put into practice, trained, verified, and tested. The model passed the test with a 99.97% success rate. To assess the effectiveness of our suggested model (ASL.model) with that of these methods, we also employed five pre-trained models (Xception, Inception, ResNet, VGG16, and MobileNet) of assisting the performance of deep learning algorithms that use Convolutional Neural Networks (CNNs). The five pre-trained models had F1-score levels of 100%, 99.51%, 99.87%, 100%, and 99.68%, respectively. The model Xception and VGG16 outperformed all others in terms of testing accuracy but when the testing time was smaller than 1.45 seconds, the suggested model outperformed all others in terms of time.

Benzer Tezler

  1. Derin öğrenme ile insan edimlerinin tanınması

    Human action recognition using deep learning

    TAYYİP ÖZCAN

    Doktora

    Türkçe

    Türkçe

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolErciyes Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ALPER BAŞTÜRK

  2. Yinelemeli sinir ağları ile işaret dili tanıma

    Sign language recognition with recurrent neural networks

    İBRAHİM ÇETİNKAYA

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    PROF. DR. TAMER ÖLMEZ

  3. Derin öğrenme kullanarak işaret dili rakam tanıma

    Sign language digit recognition using deep learning

    HACER GÜLER

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. MURAT HÜSNÜ SAZLI

  4. Derin öğrenme yöntemi kullanılarak görüntü-tabanlı türk işaret dili tanıma

    Image-based turkish sign language recognition using deep learning method

    ELİF EZEL

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSelçuk Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ÖMER KAAN BAYKAN

  5. Evrişimsel sinir ağları kullanılarak video tabanlı izole işaret dili tanıma

    Video-based isolated sign language recognition using convolutional neural networks

    ALİ AKDAĞ

    Doktora

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKonya Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ÖMER KAAN BAYKAN