Düşük kaynaklı diller için sinirsel makine çevirisinin iyileştirilmesine yönelik yaklaşımlar
Approaches toward the improvement of neural machine translation for low-resource languages
- Tez No: 997547
- Danışmanlar: PROF. DR. ERDAL KILIÇ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Ondokuz Mayıs Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Hesaplamalı Bilimler Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Makine çevirisi, bir dildeki ifadelerin/cümlelerin diğer dillere otomatik olarak çevrilmesini amaçlayan önemli bir çalışma alanıdır. Makine çevirisi problemindeki temel zorluk, en az iki dil kullanılması sebebiyle diller arasındaki paralel veri miktarının çeviri kalitesini doğrudan etkilemesidir. Düşük kaynaklı dillerdeki paralel veri eksikliği bu alandaki en temel problemlerden birisi olup, çeviri modellerinin düşük performans göstermesine sebep olmaktadır. Bu doğrultuda, bu tez çalışmasında düşük kaynaklı dil çiftleri için çeviri kalitesini arttırmaya yönelik farklı yaklaşımlar geliştirilmiştir. Bunlar; aktarım öğrenimi stratejileri, konuşma parçası (POS) etiketleri kullanımı ve Kolmogorov-Arnold ağlarının Transformer modeline mimari düzeyde uygulanması şeklindedir. Tez kapsamında geliştirilen tüm yaklaşımlar BLEU, ChrF ve METEOR metrikleri ile değelendirilerek verimlilikleri incelenmiştir. Tez kapsamında ilk olarak çeşitli aktarım öğrenimi stratejileri incelenerek, yüksek ve düşük kaynaklı dil çiftlerinin aktarım etkileri incelenmiştir. Kazakça dilinden Türkçe'ye yapılan aktarımın klasik Transformer modeline oranla BLEU (+2.04) ve ChrF (+1.99) metriklerinde daha başarılı sonuçlar sağladığı ve kullanılan dil çiftlerinin aynı dil ailesinde olmalarının aktarım aşamasında oldukça olumlu bir etki sağladığı görülmüştür. İkinci olarak, BERT tabanlı büyük dil modellerinden ve Zemberek kütüphanesinden elde edilen POS etiketlerlerinin çeviri sürecine etkileri incelenmiştir. POS etiketlerinin kullanımının düşük kaynaklı senaryolarda dilbilgisel tutarlılığı yükselttiği, anlamsal bütünlüğü belirgin ölçüde arttırdığı ve BLEU (+0.98), ChrF (+0.54) ve METEOR (+0.77) metriklerindeki artışlarla çeviri başarısının yükseldiği gösterilmiştir. Bu çalışmaların devamında, aktarım öğrenimiyle POS etiketlerinin birlikte kullanıldığı yeni bir çerçeve önerilmiştir. Dillerdeki yapısal benzerliklerle birlikte ek dilbilgisel özelliklerden de yararlanılarak çeviri kalitesini arttıran modeller ortaya çıkarılmıştır. Tez kapsamında son olarak, Transformer modelinin ileri beslemeli katmanları Kolmogorov-Arnold ağları ile değiştirilerek mimari bir iyileştirme yapılmıştır. Geliştirilen modeller, incelenen tüm derlemlerde klasik Transformer modeline göre daha istikrarlı öğrenme eğrileri ve daha yüksek çeviri doğruluğu sağlamıştır. Bu tez kapsamında geliştirilen tüm yaklaşımlarla elde edilen sonuçlar, hem veri zenginleştirme/eğitim stratejileri hem de model mimarisindeki yeniliklerle düşük kaynaklı dillerin çevirisi için başarlı modeller oluşturulabileceğini göstermiştir.
Özet (Çeviri)
Machine translation is an important field of study that aims to automatically translate phrases/sentences from one language into another. The major problem in machine translation is that the amount of parallel data between languages directly affects translation quality, due to the use of at least two languages. The lack of parallel data in low-resource languages is one of the most important problems in this field, causing translation models to perform inadequately. Accordingly, this thesis develops different approaches to improve translation quality for low-resource language pairs. These include: transfer learning strategies, the use of part-of-speech (POS) tags, and the architectural implementation of Kolmogorov-Arnold networks in the Transformer model. All approaches developed in the thesis were evaluated using BLEU, ChrF, and METEOR metrics to examine their effectiveness. First, various transfer learning strategies were examined within the scope of the thesis, and the transfer effects of high- and low-resource language pairs were investigated. It was observed that translation from Kazakh to Turkish yielded more successful results in the BLEU (+2.04) and ChrF (+1.99) metrics compared to the classic Transformer model, and that the fact that the language pairs used belong to the same language family had a very positive effect during the translation phase. Secondly, the effects of POS tags obtained from BERT-based large language models and the Zemberek library on the translation process were examined. It was demonstrated that POS tags increase syntactic consistency in low-resource scenarios, significantly enhance semantic consistency, and improve translation performance with increases in the BLEU (+0.98), ChrF (+0.54), and METEOR (+0.77) metrics. Following these studies, a new framework that combines transfer learning with POS tags was proposed. Models that improve translation quality by leveraging structural similarities between languages and additional grammatical features were developed. Finally, within the scope of this thesis, an architectural improvement was made by replacing the feed-forward layers of the Transformer model with Kolmogorov-Arnold networks. The developed models provided more stable learning curves and higher translation accuracy compared to the classic Transformer model in all corpora examined. The results obtained with all approaches developed in this thesis demonstrate that successful models can be created for the translation of low-resource languages through both data enrichment/training strategies and improvements in model architecture.
Benzer Tezler
- Türkçe-İngilizce sinirsel makine çeviri sistemi
Turkish-English neural machine translation system
İLHAMİ SEL
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİnönü ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. DAVUT HANBAY
- Radiology report classification for low-resource languages using machine learning: A case study of brain hemorrhage detection
Makine öğrenmesi kullanarak düşük kaynakli diller için radyoloji raporu siniflandirmasi: Beyin kanamasi tespiti üzerine bir örnek olay i̇ncelemesi
GIYASEDDİN BAYRAK
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MURAT CAN GANİZ
- LoRA adaptörlerinin aritmetik birleşimi yoluyla düşük kaynaklı dillerde parametre verimli diller arası hukuki metin sınıflandırması
Enhancing parameter efficient cross lingual legal text classification in low resource languages via arithmetic module composition of LoRA adapters
BERKE ÇELTİKCİ
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. OĞUZ ALTUN
- Vcompact vision–language models for low-resource Turkish image captioning: Projection-based fusion strategies
Düşük kaynaklı Türkçe görüntü açıklama için kompakt görsel–dil modellerinde projeksiyon tabanlı füzyon stratejileri
ULVİ DEMİRSOY
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGalatasaray ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ UZAY ÇETİN
- Düşük kaynaklı dillerde transformer tabanlı dil modellerinin alan adaptasyonu: Türkçe hukuk metinleri üzerine bir çalışma
Domain adaptation of transformer-based language models in low-resource languages: A study on Turkish legal texts
MERT İNCİDELEN
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MURAT AYDOĞAN