Neural sign language translation by learning tokenization
Simgeleme öğrenerek sinirsel ağlarla işaret dili çevirisi
- Tez No: 653113
- Danışmanlar: PROF. DR. LALE AKARUN
- Tez Türü: Yüksek Lisans
- Konular: Mühendislik Bilimleri, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Fen Bilimleri Eğitimi Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 83
Özet
Bu tezde, Çoklu Görev Öğrenmesi tabanlı bir yöntem Sinirsel Ağlarla İşaret Dili Çevirisini geliştirmek için önerilmiştir. Sinirsel Ağlarla İşaret Dili Çevirisi, Sinirsel Ağlarla Makine Çevirisi ve Simgeleme olarak iki parçadan oluşmaktadır. Simgeleme tabakası ana odağına işaret dili videolarının nasıl bir gösterim ile diğer katmana beslenmesi gerektiğini ele alır. Simgeleme pek fazla keşfedilmiş bir alan değildir. Halbuki, Sinirsel Ağlarla Makine Çevirisi pek çok farklı disiplinden araştırmacının ilgisini çekmiştir ve bu sayede alanda sürekli ilerleme kaydedilmektedir. Simgeleme bugüne kadar çerçeve ve gloss olmak üzere iki seviyede incelenmiştir. Glosslar kelime düzeyinde anlam taşıyan ara gösterimlerdir ve her işaret diline özel anlam taşırlar. Ayrıca, gloss bazında etiketleme çok emekte gerektiren bir süreçtir. Bu yüzden, çerçeve seviyesinde Simgeleme ile herhangi bir işaret diline kolay uygulanabilir yöntem geliştirmeyi hedefledik. Öncelikle bugüne kadar sunulan yöntemlerin eksik yanlarını pek çok deney ile açığa çıkarttık. Elde ettiğimiz kazanımlar ile Öğrenme Aktarması, Çoklu Görev Öğrenme ve Gözetimsiz Alan Uyarlaması tekniklerini bu probleme uyarladık. Bu sayede etiketlenip anlamlandırılmış veri eksikliğini gidermeye çalıştık. İşaret dilleri arasında bilgi aktarımını sağlayarak BLUE-4 metriğinde 5 ve ROUGE skorunda 8 puanlık bir iyileştirme sağladık. İkinci olarak, insan vücut bölümlerinin anlama etkilerini her deneyimizde ayrıca inceledik. 3D-CNN yapısını zamansal ve mekansal bakımdan daha etkili bir sistem oluşturmak için uyguladık. Son olarak, işaret seviyesinde simgelemenin glossa göre avantajlarını açıkladık. Özetlemek gerekirse, sunduğumuz yöntem zayıf gözetim kaynaklarını kullanarak gloss bazında etiketlemeye olan bağlılığı azaltıyor.
Özet (Çeviri)
In this thesis, we propose a multitask learning based method to improve Neural Sign Language Translation (NSLT) consisting of two parts, a tokenization layer and Neural Machine Translation (NMT). The tokenization part focuses on how Sign Language (SL) videos should be represented to be fed into the other part. It has not been studied elaborately whereas NMT research has attracted several researchers contributing enormous advancements. Up to now, there are two main input tokenization levels, namely frame-level and gloss-level tokenization. Glosses are world-like intermediate presentation and unique to SLs. Therefore, we aim to develop a generic sign-level tokenization layer so that it is applicable to other domains without further effort. We begin with investigating current tokenization approaches and explain their weaknesses with several experiments. To provide a solution, we adapt Transfer Learning, Multitask Learning and Unsupervised Domain Adaptation into this research to leverage additional supervision. We succeed in enabling knowledge transfer between SLs and improve translation quality by 5 points in BLEU-4 and 8 points in ROUGE scores. Secondly, we show the effects of body parts by extensive experiments in all the tokenization approaches. Apart from these, we adopt 3D-CNNs to improve efficiency in terms of time and space. Lastly, we discuss the advantages of sign-level tokenization over gloss-level tokenization. To sum up, our proposed method eliminates the need for gloss level annotation to obtain higher scores by providing additional supervision by utilizing weak supervision sources.
Benzer Tezler
- Continuous sign language translation on the new educational Turkish sign language dataset (E-TSL) using neural machine translation methods
Yeni eğitimsel Türk işaret dili veri kümesi (E-TSL) kullanarak nöral makine dönüşümü yöntemleri ile sürekli işaret dili çevirisi
ŞÜKRÜ ÖZTÜRK
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HACER YALIM KELEŞ
- American sign language recognitionusing YOLOv4 method
Amerikan işaret dili tanımıYOLOv4 yöntemini kullanma
ALI MAHMOOD SHAKIR AL-SHAHEEN
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MESUT ÇEVİK
- Recognition of non-manual signs in sign language
İşaret dilinde yüz ifadeleri ve kafa hareketlerinin tanınması
MÜJDE AKTAŞ
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. LALE AKARUN
- Machine learning techniques for surface electromyography based hand gesture recognition
Yüzey elektromiyografi temelli el jesti tanıma için makine öğrenmesi teknikleri
ENGİN KAYA
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. TUFAN KUMBASAR
- İşaret dili ile akıllı kontrol sistemi
Smart controlling devices system with sign language
ZAINAB SHUKUR MAHMOOD MAHMOOD
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSelçuk ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SAİT ALİ UYMAZ