Morphologically motivated ınput variations in Turkish-English neural machine translation
Türkçe-İngilizce sinirsel makine çevirisinde morfolojik güdümlü girdi varyasyonları
- Tez No: 690424
- Danışmanlar: PROF. DR. TUNGA GÜNGÖR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 99
Özet
Sinir ağlarının doğal dil işlemedeki başarısı, hızla makine çevirisinde ana yaklaşım haline gelen sinirsel makine çevirisinin (SMÇ) yolunu açmıştır. Kodlayıcı-kod çözücü (encoder-decoder) ağları, dikkat (attention) mekanizması ve Transformer mimarisi gibi atılımlarla çeviri performansında muazzam bir gelişme sağlanmıştır. Bununla birlikte, bir SMÇ sistemini eğitmek için büyük miktarda paralel verinin gerekmesi ve çeviri derlemlerinde kullanılan az rastlanmış kelimeler, henüz üstesinden gelinmemiş sorunlardır. Bu çalışmada, düşük kaynaklı Türkçe-İngilizce dil çiftinin sinirsel makine çevirisi ele alınmaktadır. Son teknoloji SMÇ mimarileri ve tek dilli derlemlerden yararlanılan veri artırma yöntemleri kullanılmıştır. Morfolojik açıdan zengin Türk dili için girdi temsilinin önemine dikkat çekilmiş ve dilbilimsel güdümlü ve dilbilimsel güdümlü olmayan girdi bölümleme yaklaşımlarının kapsamlı bir analizi yapılmıştır. Farklı girdi varyasyonları üzerinde yapılan deneyler, zengin bir morfoloji taşıyan Türkçe için morfolojik güdümlü girdi bölümlemenin önemini kanıtlamıştır. Ayrıca, Türkçe-İngilizce dil çifti için Transformer mimarisinin dikkat mekanizmasına sahip kodlayıcı-kod çözücü (attentional encoder-decoder) modellere göre üstünlüğü gösterilmiştir. Kullanılan veri artırma yaklaşımları arasında geri çevirinin en etkilisi olduğu kanıtlanmıştır ve paralel veri miktarındaki artışın çeviri kalitesine faydası doğrulanmıştır. Bu tez, farklı hiperparametrelerle eğitilen SMÇ mimarileri, veri büyütme yöntemleri ve girdi temsil teknikleri üzerine kapsamlı bir analiz sunmakta ve Türkçe-İngilizce SMÇ'nin düşük kaynak sorunu ile mücadele etmenin yollarını önermektedir.
Özet (Çeviri)
Success of neural networks in natural language processing has paved the way for neural machine translation (NMT), which rapidly became the mainstream approach in machine translation. Tremendous improvement in translation performance has been achieved with breakthroughs such as encoder-decoder networks, attention mechanism and Transformer architecture. However, the necessity of large amounts of parallel data for training an NMT system, and rare words in translation corpora are issues yet to be overcome. In this study, neural machine translation of the low-resource Turkish-English language pair is approached. State-of-the-art NMT architectures are employed and data augmentation methods that exploit monolingual corpora are used. The importance of input representation for the morphologically-rich Turkish language is pointed out, and a comprehensive analysis of linguistically and non-linguistically motivated input segmentation approaches has been made. Experiments on different input variations have proven the importance of morphologically motivated input segmentation for the Turkish language that carries a rich morphology. Moreover, superiority of the Transformer architecture over attentional encoder-decoder models has been shown for the Turkish-English language pair. Among the employed data augmentation approaches, back-translation has proven to be the most effective, and the benefit of increasing amount of parallel data on translation quality is confirmed. This thesis demonstrates a comprehensive analysis on NMT architectures with different hyperparameters, data augmentation methods and input representation techniques, and proposes ways of tackling the low-resource setting of Turkish-English NMT.
Benzer Tezler
- Towards a model for analyzing the cognitive gap in user-product interaction throughout the technological evolution
Kullanıcı-ürün etkileşiminde bilişsel boşluk: Teknolojik evrim açısından bir analiz modeli
BEYZA DOĞAN
Doktora
İngilizce
2024
Endüstri Ürünleri Tasarımıİstanbul Teknik ÜniversitesiEndüstriyel Tasarım Ana Bilim Dalı
PROF. DR. HATİCE HÜMANUR BAĞLI
- ITUMORPH-Türkçe için daha geniş kapsamlı ve başarılı bir biçimbilimsel çözümleyici
ITUMORPH-Türkçe için daha geniş kapsamlı ve başarılı bir biçimbilimsel çözümleyici
MUHAMMET ŞAHİN
Yüksek Lisans
Türkçe
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. GÜLŞEN ERYİĞİT
- Aspect-based sentiment analysis for turkish using deep learning model combinations
Türkçe için derin öğrenme modelleri kullanarak özellik bazlı duygu analizi
ALİ ERKAN
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. TUNGA GÜNGÖR
- Learning word-vector quantization: A study in morphological disambiguation of turkish
Sözcük vektörü nicelleştirme öğrenmesi: TÜrkçe için biçimbirimsel belirsizlik giderme çalışması
ENİS ARSLAN
Doktora
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÜsküdar ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. UMUT ORHAN
- Using multiple sources of information for constraint-based morphological disambiquation
Değişik bilgi kaynakları kullanarak biçimbirimsel birikleştirme
GÖKHAN TÜR
Yüksek Lisans
İngilizce
1996
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiY.DOÇ.DR. KEMAL OFLAZER