Continuous sign language translation with pretrained language models for Turkish sign language (TID)
Ön-eğitimli dil modelleri ile Türk işaret dili için işaret dili çevirisi
- Tez No: 956452
- Danışmanlar: DOÇ. DR. KADİR GÖKGÖZ, PROF. DR. LALE AKARUN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Dilbilim, Computer Engineering and Computer Science and Control, Linguistics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Bilişsel Bilimler Ana Bilim Dalı (disiplinlerarası)
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
İşaret Dili Çevirisi (Sign Language Translation - SLT), işitme engelli ve işitme güçlüğü çeken bireyler için erişilebilirlik sistemleri sağlamayı amaçlayan bir yapay öğrenme görevidir. Bu alandaki son gelişmelerle birlikte, SLT kapsamında geliştirilen teknolojiler, büyük dil modelleri (Large Language Models - LLMs) ile büyük ölçekli eğitime doğru kaymıştır. Ancak, mevcut teknolojiler ve veri setlerinin büyük çoğunluğu Amerikan İşaret Dili (ASL) ve İngiliz İşaret Dili (BSL) için mevcuttur. Türk İşaret Dili (TID) için bu yeni teknolojilerin uygulanabilmesini sağlamak amacıyla, 500 saatten fazla video içeriği ve bunlara hizalanmış Türkçe çevirilerden oluşan, kamuya açık YouTube içeriklerini kullanarak oluşturulmuş ilk büyük ölçekli açık veri setini öneriyoruz. Bu veri seti, SLT araştırmaları için ölçeklenebilir ve tekrarlanabilir bir çerçeve sunmaktadır. Bu çalışma, işaret dili çeviri performansı üzerindeki etkilerini inceleyerek farklı özellik çıkarım stratejilerini (Lineer katman, Çok Katmanlı Algılayıcı (MLP), Evrişim (Conv1D) kodlayıcılar), model boyutlarını ve ön eğitim yaklaşımlarını (çok dilli veya Türkçe'ye özgü) karşılaştırmaktadır. Ayrıca, dil odaklı uygulamalara yönelik teorik bir temelden türetilen, referans çeviri artımı için yeniden ifade (paraphrasing) ve işaret dili odaklı veri artımı (augmentation) yöntemleri ile bu çalışmada Türk İşaret Dili'nden Türkçe'ye çeviri için denektaşı sistemi sağlamaktadır.
Özet (Çeviri)
Sign Language Translation (SLT) is a machine learning task that aims to provide accessibility systems for the deaf and hard-of-hearing community. With the recent advances within the area, SLT technologies have shifted towards large-scale training with pretrained large language models (LLMs). However, most technologies and datasets are provided for American Sign Language (ASL) and British Sign Language (ASL). To achieve similar advances for Turkish Sign Language (TID) translation, we are proposing the first large-scale open-source translation dataset for TID, comprising over 500 hours of video footage and aligned Turkish translations by utilizing publicly available YouTube content. In this work, our dataset provides a scalable and reproducible framework for SLT research. We propose a comprehensive translation system with various inter-changeable components designed for SLT on an agglutinative language to compensate for the learning alignment between both low-resource languages, namely TID and Turkish. This body of work compares feature extraction strategies (Linear layers, Multi-layer Perceptrons, and Convolutional encoders), model sizes, and their pretraining approaches (multilingual versus Turkish-specific) to the effect on sign translation performance. Innovative training and evaluation techniques, including paraphrasing-based reference generation and sign language-specific augmentations, are also introduced for developing an SLT benchmark for TID.
Benzer Tezler
- Ön işlemenin ve askorbik asitin dondurularak depolanan yılan balıklarının (Anguilla anguilla) kalitesine etkileri
Başlık çevirisi yok
H.VOLKAN GÖKSEL
Yüksek Lisans
Türkçe
1985
Gıda MühendisliğiEge ÜniversitesiSu Ürünleri Ana Bilim Dalı
DOÇ. DR. AYDIN URAL
- Regresyon analizi ve Türkiye üzerine bir deneme buğday üretiminin tahmini
Başlık çevirisi yok
MACİT MESUT ÖZMEN
- Katı yakıtların akışkan yatakta yakılması ve katı miktarının yatak yüksekliğine etkisi
Combustion of solid fuels in the fkuidized beds and the effects of solid quantity to the height of bed
KAMİL BEKİR KOÇ
Yüksek Lisans
Türkçe
1987
Makine MühendisliğiGazi ÜniversitesiMakine Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. ALİ YÜCEL UYAREL
- Ege bölgesinde bağ küllemesi (Uncinula necator (Sahwein) Burr)'nin önerilen sistemik fungisidlere karşı dayanıklılığı üzerinde araştırmalar
Investigations on the resistance of vine powdery mildews Uncinula necator (schwein) Burr against recommended systemic fungicides in Aegean region
MUALLA ARI
- Geleneksel Sivrihisar evleri
Traditional houses of Sivrihisar
FİSUN ÖZŞUÇA
Yüksek Lisans
Türkçe
1986
MimarlıkGazi ÜniversitesiMimarlık Ana Bilim Dalı
YRD. DOÇ. DR. ORHAN CEZMİ TUNCER
- Türkiye'de dış borçlanmayı etkileyen faktörler ve dış borçlanmanın ekonomik katkıları
Başlık çevirisi yok
MEHMET AKÇAY