Continuous sign language translation with pretrained language models for Turkish sign language (TID)
Ön-eğitimli dil modelleri ile Türk işaret dili için işaret dili çevirisi
- Tez No: 956452
- Danışmanlar: DOÇ. DR. KADİR GÖKGÖZ, PROF. DR. LALE AKARUN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Dilbilim, Computer Engineering and Computer Science and Control, Linguistics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Bilişsel Bilim Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 138
Özet
İşaret Dili Çevirisi (Sign Language Translation - SLT), işitme engelli ve işitme güçlüğü çeken bireyler için erişilebilirlik sistemleri sağlamayı amaçlayan bir yapay öğrenme görevidir. Bu alandaki son gelişmelerle birlikte, SLT kapsamında geliştirilen teknolojiler, büyük dil modelleri (Large Language Models - LLMs) ile büyük ölçekli eğitime doğru kaymıştır. Ancak, mevcut teknolojiler ve veri setlerinin büyük çoğunluğu Amerikan İşaret Dili (ASL) ve İngiliz İşaret Dili (BSL) için mevcuttur. Türk İşaret Dili (TID) için bu yeni teknolojilerin uygulanabilmesini sağlamak amacıyla, 500 saatten fazla video içeriği ve bunlara hizalanmış Türkçe çevirilerden oluşan, kamuya açık YouTube içeriklerini kullanarak oluşturulmuş ilk büyük ölçekli açık veri setini öneriyoruz. Bu veri seti, SLT araştırmaları için ölçeklenebilir ve tekrarlanabilir bir çerçeve sunmaktadır. Bu çalışma, işaret dili çeviri performansı üzerindeki etkilerini inceleyerek farklı özellik çıkarım stratejilerini (Lineer katman, Çok Katmanlı Algılayıcı (MLP), Evrişim (Conv1D) kodlayıcılar), model boyutlarını ve ön eğitim yaklaşımlarını (çok dilli veya Türkçe'ye özgü) karşılaştırmaktadır. Ayrıca, dil odaklı uygulamalara yönelik teorik bir temelden türetilen, referans çeviri artımı için yeniden ifade (paraphrasing) ve işaret dili odaklı veri artımı (augmentation) yöntemleri ile bu çalışmada Türk İşaret Dili'nden Türkçe'ye çeviri için denektaşı sistemi sağlamaktadır.
Özet (Çeviri)
Sign Language Translation (SLT) is a machine learning task that aims to provide accessibility systems for the deaf and hard-of-hearing community. With the recent advances within the area, SLT technologies have shifted towards large-scale training with pretrained large language models (LLMs). However, most technologies and datasets are provided for American Sign Language (ASL) and British Sign Language (ASL). To achieve similar advances for Turkish Sign Language (TID) translation, we are proposing the first large-scale open-source translation dataset for TID, comprising over 500 hours of video footage and aligned Turkish translations by utilizing publicly available YouTube content. In this work, our dataset provides a scalable and reproducible framework for SLT research. We propose a comprehensive translation system with various inter-changeable components designed for SLT on an agglutinative language to compensate for the learning alignment between both low-resource languages, namely TID and Turkish. This body of work compares feature extraction strategies (Linear layers, Multi-layer Perceptrons, and Convolutional encoders), model sizes, and their pretraining approaches (multilingual versus Turkish-specific) to the effect on sign translation performance. Innovative training and evaluation techniques, including paraphrasing-based reference generation and sign language-specific augmentations, are also introduced for developing an SLT benchmark for TID.
Benzer Tezler
- Continuous sign language translation on the new educational Turkish sign language dataset (E-TSL) using neural machine translation methods
Yeni eğitimsel Türk işaret dili veri kümesi (E-TSL) kullanarak nöral makine dönüşümü yöntemleri ile sürekli işaret dili çevirisi
ŞÜKRÜ ÖZTÜRK
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HACER YALIM KELEŞ
- Yazılı Türkçe dilinden Türk işaret diline (tid) makine çevirisi sistemi
Text to sign language machine translation system for Turkish
CİHAT ERYİĞİT
Doktora
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Advancing sign language recognition through novel comprehensive dataset creation and robust methodologies
Yeni ve kapsamlı veri seti oluşturma ve gürbüz metodolojiler geliştirerek işaret dili tanımada ilerleme
AREZOO SADEGHZADEH KOGAJEHSOLTAN
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MD BAHARUL ISLAM
DR. ÖĞR. ÜYESİ TARKAN AYDIN
- Computer vision based multi-lingual fingerspelling recognition
Bilgisayarla görme tabanlı çok dilli parmak alfabesi tanıma
AHMET ALP KINDIROĞLU
Yüksek Lisans
İngilizce
2011
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. LALE AKARUN
- At the intersection of center and periphery: Kurdish language in the Turkish Monolingual sphere
Merkez ve çeperin kesişiminde: Türkçenin tekdil alanında Kürt dili
SEREN ÜSTÜNDAĞ
Yüksek Lisans
İngilizce
2019
Dilbilimİhsan Doğramacı Bilkent Üniversitesiİnsan ve Toplum Bilimleri Ana Bilim Dalı
YRD. DOÇ. DR. ETİENNE EUGENE CHRISTİAN CHARRİERE