Türk işaret dili tanıma için zayıf-güdümlü makine öğrenmesi yöntemi
Weakly-supervised machine learning method for Turkish sign language recognition
- Tez No: 768088
- Danışmanlar: DOÇ. DR. NURİ ÇELİK, DR. ÖĞR. ÜYESİ YAKUP GENÇ
- Tez Türü: Yüksek Lisans
- Konular: Matematik, Mathematics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Gebze Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Matematik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 62
Özet
Türk İşaret Dili'nin (TİD) tanınması bir bilgisayarlı görme kapsamında bir yapay zekâ problemidir. Bu problemin çözülebilmesi için Yapay Sinir Ağları (YSA) kullanılmaktadır. Bu tez kapsamında TİD'in tanınmasına yönelik YSA modeli öne sürülmektedir. Bu sınıflandırma modelinin eğitilmesi için, TİD'e özgü bir veri kümesi gereklidir. Bu veri kümesinin tüm varyasyonları içermesi gerektirmektedir. Çözülmesi gereken bu problem için gerekli olan veri kümesi birlikte düşünüldüğünde bunun pahalı bir problem olduğu aşikardır. Bu tez kapsamında zayıf güdümlü bir makine öğrenmesi yöntemiyle veri kümesini oluşturma kısmını kolaylaştırıp modelleme yapılması hedeflenmektedir. Bu bağlamda tez 2 aşamadan oluşmaktadır. İlk olarak TİD için bir veri kümesi oluşturulmuştur. Bu veri kümesi 512 adet farklı kelime sınıfından oluşturulmuştur. Veri kümesi oluşturulurken kaynak olarak çevrim içi platformlar kullanılmıştır. Bu aşamadan sonra frekans baz alınarak farklı sınıf sayıları için dengeli ve dengesiz olmak üzere toplam 6 adet alt veri kümesi oluşturulmuştur. Oluşturulan bu veri kümelerinin sınıf sayıları sırasıyla 5, 10 ve 15'tir. Veri kümesi oluşturulduktan sonra eğitim aşamasına geçilmiştir. Eğitim aşamasında iki farklı model kullanılmıştır. Elde edilen bu yeni veri kümesiyle basit yapılı bir UKSB tabanlı model inşa edilerek tekrar eğitim gerçekleştirilmiştir. İkinci eğitim aşamasının sonunda en yüksek doğruluğa ve en küçük kayıp değerine sahip model ağı seçilerek tahminleme yapılmıştır. Yukarıda bahsi geçen süreçlerin ve tahmin yapma sürecinin tamamı oluşturulan 6 ayrı alt veri kümesi için tekrarlanmıştır. Eğitim süreçlerinin sonunda her iki tarz veri tipi için de başarı oranı çoğunlukla %90'ın üzerinde olsa da dengeli veri kümelerinde daha iyi sonuçlar gözlemlenmiştir. Sınıf sayısı arttırıldıkça başarı oranının arttığı gözlemlenmiştir.
Özet (Çeviri)
Turkish Sign Language (TİD) recognition is an artificial intelligence problem within the scope of computer vision. Artificial Neural Networks (ANN) are used to solve this problem. In this thesis, the YSA model for the classification of TID is proposed. A TID-specific dataset is required to train this classification model. This dataset requires to contain all variations. Considering the dataset required for this problem to be solved, it is obvious that this is an expensive problem. In this thesis, it is aimed to facilitate the process of obtaining the dataset with a semi-supervised machine learning method and then modeling. In this context, the thesis consists of two stages. First, it acquires a dataset, which contains 512 different word classes. It uses online platforms as a source. After this stage, a total of 6 sub-datasets, balanced and unbalanced, are formed for different class numbers based on frequency. The class numbers of these datasets are 5, 10, and 15, respectively. Then, the training phase is initiated. Two different models are used in the training phase. With this new dataset, a simple LSTM-based model is built, and retraining is carried out. At the end of the second training phase, the model network with the highest accuracy and the smallest loss value is selected and a prediction is made. At the end of the training process, although the success rate for both types of data is mostly above 90%, better results are observed in balanced datasets. It is observed that the success rate increased as the number of classes increased.
Benzer Tezler
- Score level multi cue fusion for sign language recognition
İşaret dili tanıma için sonuç seviyesinde çoklu ipucu kaynaşımı
ÇAĞRI GÖKÇE
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. LALE AKARUN ERSOY
- Kafkasya'dan Maverayı Kafkasya'ya Türkiye için jeopolitikalar
The geopolitics for Turkey that from Caucasus to Mavera-i Caucasus
MÜBERRA KOÇYİĞİT TÜRK
- Yeni Cami'nin akustik açıdan performans değerlendirmesi
Evaluation of the acoustical performance of the New Mosque
EVREN YILDIRIM
Yüksek Lisans
Türkçe
2003
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. SEVTAP YILMAZ DEMİRKALE
- Transfer learning for sign language recognition
İşaret dili tanıma ı̇çin öğrenme transferi
AHMET ALP KINDIROĞLU
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. LALE AKARUN ERSOY
- Sign language recognition by image analysis
Görüntü işleme teknikleriyle işaret dili tanıma
BUKET BÜYÜKSARAÇ
Yüksek Lisans
İngilizce
2015
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET METE BULUT
PROF. DR. GÖZDE AKAR