Continuous sign language translation on the new educational Turkish sign language dataset (E-TSL) using neural machine translation methods
Yeni eğitimsel Türk işaret dili veri kümesi (E-TSL) kullanarak nöral makine dönüşümü yöntemleri ile sürekli işaret dili çevirisi
- Tez No: 896403
- Danışmanlar: DOÇ. DR. HACER YALIM KELEŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 62
Özet
İşaret dili, işitme ve konuşma engelli bireyler için temel bir iletişim aracıdır. Ancak, diğer insanlar tarafından çok iyi bilinmediği için işaret dili kullanan bireylerin iletişimi zorlaşmaktadır. Ayrıca, işaret dili ülkeden ülkeye farklılık göstermekte ve zamanla değişim göstermektedir, bu da işaret dili kullanıcıları arasında iletişimi daha da zorlaştırmaktadır. Bu zorlukları aşmak için, teknolojik gelişmelerin de yardımıyla işaret dili işleme üzerine birçok çalışma yapılmıştır. Bu çalışmalar, işaret dili çevirisi (işaretten metne) ve üretimi (metinden işarete) üzerine odaklanmaktadır. Çoğu derin öğrenme modeli gibi, büyük veri kümeleri bu alanda da önemlidir. Yaygın olarak kullanılan veri kümeleri arasında Phoenix-2014, Phoenix-2014T, SWISSTXT-NEWS, VRT-NEWS, BSL Corpus ve How2Sign ASL bulunmaktadır. Alanda Türk İşaret Dili (TSL) veri kümeleri de bulunmakla birlikte, var olan veri kümeleri ayrık formdadır. Şu anda sürekli işaret dili çevirisi için uygun bir TSL veri kümesi bulunmamaktadır. Bu tezde, sürekli işaret dili çeviri yöntemlerini TSL ile ilgili yaygınlaştırmak amacıyla, ortaokul düzeyindeki Türkçe derslerinden oluşan Eğitim Türk İşaret Dili (E-TSL) veri kümesini oluşturduk. Veri kümesi, 11 farklı işaretçiden oluşan 1,410 video klibi içermekte ve toplamda yaklaşık 24 saatlik içerik sunmaktadır. Türkçenin sondan eklemeli yapısı nedeniyle, işaret dili çevirisi ek zorluklar içermektedir. Kelimeleri lemmatize ettikten sonra, E-TSL veri kümesinin sözlüğünde kelimelerin \%64'ü tekil, \%85'i ise beş kereden az görünen nadir kelimelerden oluşmaktadır, bu da çeviri için önemli zorluklar yaratmaktadır. Bu zorlukları aşmak için, transformer tabanlı pozdan metne (P2T-T) ve grafik sinir ağı tabanlı transformer (GNN-T) modeller geliştirdik. E-TSL veri kümesinin karmaşıklığına rağmen, GNN-T modelimiz ROUGE-L, BLEU-1 ve BLEU-4 skorlarında sırasıyla 22.93, 21.01 ve 3.49 değerlerini elde etmiştir. Bu sonuçlar, E-TSL veri kümesinin diğerlerine kıyasla zorlu olduğunu ortaya koymaktadır. Modellerimizi doğrulamak için, karşılaştırmalı sonuçlar sunarak Phoenix-Weather 2014T veri kümesini bir kıstas olarak kullandık. Son olarak, E-TSL veri kümemizin performansını diğer yaygın kullanılan veri kümeleri ile karşılaştırarak değerlendirdik.
Özet (Çeviri)
Sign language is a fundamental communication tool for people with hearing and speech disabilities. However, it is not widely known by others, making communication challenging for those who rely on it. Additionally, sign language varies by country and evolves over time, which further complicates communication among sign language users. To address these challenges, recent technological advances have led to numerous studies on sign language processing. These studies focus on sign language translation (sign to text) and production (text to sign). As with most deep learning models, large datasets are essential. Widely used datasets include Phoenix-2014, Phoenix-2014T, SWISSTXT-NEWS, VRT-NEWS, BSL Corpus, and How2Sign ASL. Turkish Sign Language (TSL) datasets are also available, but they are typically isolated. Currently, there is no Turkish Sign Language dataset suitable for continuous sign language translation. In this thesis, we created the Educational Turkish Sign Language (E-TSL) dataset, featuring Turkish secondary school courses, to promote continuous sign language translation methods for TSL. The dataset includes 1,410 video clips with 11 different signers, totaling nearly 24 hours of content. Due to the agglutinative nature of Turkish, sign language translation faces additional challenges. After lemmatizing the words, the E-TSL dataset's dictionary shows that 64\% of the words are singletons, and 85\% are rare words appearing less than five times, posing significant challenges for translation. To address these challenges, we developed transformer-based pose-to-text (P2T-T) and graph neural network-based transformer (GNN-T) models. Despite the dataset's complexity, our GNN-T model achieved ROUGE-L, BLEU-1, and BLEU-4 scores of 22.93, 21.01, and 3.49, respectively. These results highlight the difficulty of the E-TSL dataset compared to others. To validate our models, we used the Phoenix-Weather 2014T dataset as a benchmark, providing comparative results. Finally, we evaluated the performance of our E-TSL dataset against other commonly used datasets.
Benzer Tezler
- Yazılı Türkçe dilinden Türk işaret diline (tid) makine çevirisi sistemi
Text to sign language machine translation system for Turkish
CİHAT ERYİĞİT
Doktora
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Sanal mimarlığın gerçeği
Başlık çevirisi yok
CEM YARDIMCI
Yüksek Lisans
Türkçe
1998
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. HÜLYA YÜREKLİ
- Computer vision based multi-lingual fingerspelling recognition
Bilgisayarla görme tabanlı çok dilli parmak alfabesi tanıma
AHMET ALP KINDIROĞLU
Yüksek Lisans
İngilizce
2011
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. LALE AKARUN
- At the intersection of center and periphery: Kurdish language in the Turkish Monolingual sphere
Merkez ve çeperin kesişiminde: Türkçenin tekdil alanında Kürt dili
SEREN ÜSTÜNDAĞ
Yüksek Lisans
İngilizce
2019
Dilbilimİhsan Doğramacı Bilkent Üniversitesiİnsan ve Toplum Bilimleri Ana Bilim Dalı
YRD. DOÇ. DR. ETİENNE EUGENE CHRISTİAN CHARRİERE
- Zamanın ve mekânın genişlemiş alanında bir kültürteknik: paralel projeksiyon
A cultural technique in the expanded field of time and space: parallel projection
MELEK KILINÇ
Doktora
Türkçe
2021
MimarlıkMimar Sinan Güzel Sanatlar ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. AHMET TERCAN