Classification of hand sign language using deep learning algorithm
Deep kullanılarak el işaret dilinin sınıflandırılması öğrenme
- Tez No: 897191
- Danışmanlar: PROF. DR. OSMAN NURİ UÇAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgi ve Belge Yönetimi, Information and Records Management
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Altınbaş Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 65
Özet
İşitme engelli bireyler, iletişimin her alanında sosyal yaşamdaki pek çok sorunu sekteye uğratan pek çok sorunla karşı karşıyadır; bu nedenle etkili iletişim, bir ulusun gelişmesinde büyük önem taşımaktadır. Sağır olanlar da dahil olmak üzere toplumun tüm üyeleri arasında anlayış ve kapsayıcılığı teşvik eder. İyi iletişim, güçlü ve uyumlu bir toplum inşa etmenin ve sürdürmenin anahtarıdır. 29.000 işaret dili görseli kullandım, her sınıfta 1.000 görsel vardı. Sıfırdan bir model (ASL.model) oluşturdum ve bunu önceden var olan modellerle (Xception, Inception, ResNet, VGG16 ve MobileNet) karşılaştırdım. Doğrudan insan rehberliği olmadan faaliyetleri gerçekleştirebilen akıllı bilgisayarların incelenmesi, bilgisayar biliminde hızla büyüyen bir konu olan yapay zeka (AI) olarak biliniyor. Bu görevler öğrenmeyi, karar vermeyi ve problem çözmeyi içerebilir ve genellikle algoritmalar, veriler ve makine öğrenimi teknikleri kullanılarak gerçekleştirilir. Sınıflandırma için kullanılacak en uygun sınıflandırma özelliklerini bulmak amacıyla, Kaggle deposundan elde edilen fotoğrafları eğitim veri seti olarak kullanarak işaret dilini sınıflandırmaya yönelik bir model oluşturmak amacıyla bu tezde derin öğrenme teknikleri kullanılacaktır. Derin öğrenme, doğruluğu ve verimliliği nedeniyle artık çeşitli endüstrilerde yaygın olarak kullanılıyor; özellikle derin öğrenme algoritmalarının çok büyük, etiketli veri kümeleri kullanılarak öğretildiği fotoğraflar, sesler veya metinler gibi çok büyük ancak karmaşık veriler için. Bu tezde, işaret diliyle ilgili toplam yirmi dokuz dersi sınıflandırmak için derin öğrenmeyi kullandık. İşaret dilini kategorize etmek için yeni bir çerçeve ortaya koyduk. Önerilen model uygulamaya konuldu, eğitildi, doğrulandı ve test edildi. Model testi %99,97 başarı oranıyla geçti. Önerilen modelimizin (ASL.model) bu yöntemlerle etkinliğini değerlendirmek için ayrıca Evrişimli algoritmaları kullanan derin öğrenme algoritmalarının performansına yardımcı olacak önceden eğitilmiş beş model (Xception, Inception, ResNet, VGG16 ve MobileNet) kullandık. Sinir Ağları (CNN'ler). Önceden eğitilmiş beş modelin F1 puanı seviyeleri sırasıyla %100, %99,51, %99,87, %100 ve %99,68'di. Xception ve VGG16 modeli, test doğruluğu açısından diğerlerinden daha iyi performans gösterdi ancak test süresi 1,45 saniyeden küçük olduğunda önerilen model, zaman açısından diğer tüm modellerden daha iyi performans gösterdi.
Özet (Çeviri)
People with hearing disabilities face many problems, which impede many of their social life issues in all areas of communication, so effective communication is crucial in the development of a nation. It promotes understanding and inclusivity among all members of the community, including those who are deaf. Good communication is key to building and maintaining a strong, cohesive society. I used 29,000 sign language images, each class contained 1,000 images. I built a model from scratch (ASL.model) and compared it with pre-existing models (Xception, Inception, ResNet, VGG16 and MobileNet). The study of intelligent computers that can carry out activities without direct human guidance is known as artificial intelligence (AI), a fast-growing topic within computer science. These tasks may include learning, decision making, and problem solving, and they are often accomplished through the use of algorithms, data, and machine learning techniques. To find the most appropriate classification features to be used for classification, deep learning techniques will be employed in this thesis to create a model for classifying sign language utilizing photographs obtained from the Kaggle depository as a training data set. Deep learning is now widely employed across a variety of industries due to its accuracy and efficiency, particularly for vast yet complicated data, such as photos, sounds, or text, where deep learning algorithms are taught using massive, labeled data sets. In this thesis, we used deep learning to classify a total of twenty-nine sign language-related classes. We put forth a fresh framework for categorizing sign language. The suggested model was put into practice, trained, verified, and tested. The model passed the test with a 99.97% success rate. To assess the effectiveness of our suggested model (ASL.model) with that of these methods, we also employed five pre-trained models (Xception, Inception, ResNet, VGG16, and MobileNet) of assisting the performance of deep learning algorithms that use Convolutional Neural Networks (CNNs). The five pre-trained models had F1-score levels of 100%, 99.51%, 99.87%, 100%, and 99.68%, respectively. The model Xception and VGG16 outperformed all others in terms of testing accuracy but when the testing time was smaller than 1.45 seconds, the suggested model outperformed all others in terms of time.
Benzer Tezler
- Derin öğrenme ile insan edimlerinin tanınması
Human action recognition using deep learning
TAYYİP ÖZCAN
Doktora
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolErciyes ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALPER BAŞTÜRK
- Yinelemeli sinir ağları ile işaret dili tanıma
Sign language recognition with recurrent neural networks
İBRAHİM ÇETİNKAYA
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. TAMER ÖLMEZ
- Derin öğrenme kullanarak işaret dili rakam tanıma
Sign language digit recognition using deep learning
HACER GÜLER
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. MURAT HÜSNÜ SAZLI
- Derin öğrenme yöntemi kullanılarak görüntü-tabanlı türk işaret dili tanıma
Image-based turkish sign language recognition using deep learning method
ELİF EZEL
Yüksek Lisans
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSelçuk ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖMER KAAN BAYKAN
- Evrişimsel sinir ağları kullanılarak video tabanlı izole işaret dili tanıma
Video-based isolated sign language recognition using convolutional neural networks
ALİ AKDAĞ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKonya Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÖMER KAAN BAYKAN