Evaluating state-of-the-art nmt on football tweets with high context: correlating human (MQM) and automated (COMETKIWI-XL) metrics
Kullanıcılar tarafından üretilen futbol temalı içeriklerin makine çevirisi: MQM ve COMET-KIWI-XL tabanlı kalite değerlendirmesi
- Tez No: 974056
- Danışmanlar: PROF. DR. AYŞE BANU KARADAĞ
- Tez Türü: Yüksek Lisans
- Konular: Mütercim-Tercümanlık, Translation and Interpretation
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İstanbul 29 Mayıs Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Mütercim Tercümanlık Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, korelasyon merkezli bir değerlendirme çerçevesi benimseyerek referanssız metrik COMETKiwi-XL'nin insan temelli MQM 2.0 değerlendirmeleriyle ne ölçüde örtüştüğünü incelemektedir. Bu çerçevede, normalleştirilmiş MQM puanları (RQS) ile COMETKiwi-XL skorları arasındaki ilişkiler hem segment hem de sistem düzeyinde karşılaştırılmıştır. Bu çalışmada, İngilizce↔Türkçe futbol alanına ilişkin, kullanıcılar tarafından üretilen içeriklerden (UGC) oluşan 20 tweetlik (iki dil yönünde 10'ar tane) bir veri seti kullanılmıştır. Bu tweetler, argo ifadeler, kısaltmalar, emojiler ve kültüre özgü göndermeler içermektedir. İlgili tweet'ler DeepL, ChatGPT-o3 ve X Translate (yerleşik Google Translate) tarafından çevrilmiş ve toplam 60 çıktı elde edilmiştir. Üç uzman değerlendirici MQM 2.0 üzerinden değerlendirmelerde bulunmuş; ilgili değerlendirmeler kategori×önem puanları APT → PWPT → RQS (0–1) hesaplamalarına dönüştürülmüş ve her segment için ortalama alınmıştır. Elde edilen MQM ham skorları Pearson's r ve Kendall's τ ölçümleri kullanılarak COMETKiwi-XL sonuçlarıyla karşılaştırılmıştır. Bulgular, segment düzeyinde orta derecede ancak tutarsız bir korelasyon ortaya koymaktadır. Bu durum kısmen, varyansı daraltan ve birden çok çıktının RQS = 0.000 almasıyla ortaya çıkan taban etkisinden kaynaklanmaktadır. Sistem düzeyinde ise, MQM ve COMETKiwi-XL EN-TR yönünde yüksek ölçüde örtüşürken, TR-EN yönünde belirgin biçimde ayrışmakta ve bahsi geçen sistemleri tamamen zıt biçimde sıralamaktadır. Ek olarak, insan değerlendiricilerin MQM hata seçim sayılarına bakıldığında ise dağılım çeviri yönleri arasında dengeli olmuştur. ChatGPT-o3 genellikle diğer sistemlerden daha yüksek RQS elde etse de bu çalışmanın temel çıkarımı sistem üzerine olmaktan ziyade yöntemsel bir gözlem içermektedir. Doğası gereği MQM, düşük kaliteli çevirileri 0.000 gibi minimum puanlara indirip tamamen başarısız çeviri olarak puanlayabiliyorken, COMETKiwi-XL, çevirileri kademeli bir şekilde değerlendirerek puanları birbirine daha yakın konumlandırmakta ve kalite farklılıklarını daha aşamalı bir biçimde yansıtmaktadır. Bu çalışmada kullanılan veri setinin sınırlı büyüklüğü ve tek alanlı yapısı nedeniyle elde edilen sonuçlar dikkatle değerlendirilmelidir. Buna rağmen, sınırlı veri seti ile bu çalışma, insan temelli MQM ve referanssız otomatik metriklerin birlikte nasıl kullanılabileceğine dair çıkarımlar sağlarken, MQM–COMET (Kiwi-XL) uyumunu daha iyi incelemek adına daha büyük ve çok alanlı veri setlerine ihtiyaç olduğuna da işaret etmektedir.
Özet (Çeviri)
Adopting a correlation-centered evaluation framework, this thesis investigates how well the reference-free metric COMETKiwi-XL aligns with human MQM 2.0 judgements. Within this framework, the study compares segment- and system-level relationships between normalized MQM points (RQS) and COMETKiwi-XL scores. The sample of the study is English↔Turkish football UGC—tweets rich in slang, abbreviations, emojis, and culture-specific references. A small, domain-focused dataset of 20 tweets (10 per direction) was translated by three machine translation systems (DeepL, ChatGPT-o3, and X Translate), yielding 60 outputs. Three expert annotators applied MQM; category×severity counts were converted to APT → PWPT → RQS (0–1) and then averaged per segment. We compared these human scores with COMETKiwi-XL using Pearson's r and Kendall's τ, at both the segment and system levels. Findings suggest moderate yet inconsistent segment-level correlations, partly driven by floor effects (multiple items with RQS = 0.000) that compress variability. At the system level, MQM and COMETKiwi-XL converge to a larger extent in EN-TR but diverge substantially in TR-EN, yielding a reversed ordering of systems. Regarding MQM error tags, the distribution was balanced across translation directions. Although ChatGPT-o3 generally achieves higher RQS than the other systems, the central takeaway of this study is methodological rather than system-specific. MQM, by design, can reduce poor translations to very low scores, sometimes reaching 0.000, which indicates complete failure. COMETKiwi-XL, in contrast, distributes outputs on a smoother scale, placing scores closer together and reflecting quality differences in a more gradual manner. Given the limited size and single domain, the results should be interpreted cautiously. Even so, they provide some indications of how human-in-the-loop MQM and a reference-free automatic metric might be used together, while also pointing to the need for larger, multi-domain datasets to better examine MQM–COMET(Kiwi-XL) alignment.
Benzer Tezler
- Çekirdeksiz kuru üzümde uygulanan politikanın Ege Bölgesinde üretim ve üretici açısından sonuçlarının değerlendirilmesi
Başlık çevirisi yok
GÜVEN ÖZERİN
- Multimodal Machine Translation
Başlık çevirisi yok
OZAN ÇAĞLAYAN
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolLe Mans UnıversıtePROF. DR. DANIŞMAN YOK
- Türk resim sanatında kadın imgesi üzerinden kadın ressamların incelenmesi
Turkish art image of woman trough the examination of women painters
MÜNEVVER SÜRÜCÜ
Yüksek Lisans
Türkçe
2011
Güzel SanatlarMimar Sinan Güzel Sanatlar ÜniversitesiResim Ana Sanat Dalı
YRD. DOÇ. AHMET UMUR DENİZ
- Hiçlik kavramının sanatta imgesel inşası
Imaginary construction of the concept of nothingness in art
MAZE SÜRER
Yüksek Lisans
Türkçe
2022
Güzel SanatlarHacettepe ÜniversitesiHeykel Ana Sanat Dalı
DR. ÖĞR. ÜYESİ ENGİN SARI
- Ankara Devlet Opera ve Balesi Müdürlüğü teknik personelinde kronik hastalık durumu ile risk faktörlerinin saptanması ve yapılan eğitimin bilgi, tutum ve davranış değişikliklerine etkisi
Determination of chronic diseases and risk factors in Ankara State Opera and Ballet Directorate technical staff and the effect of education on knowledge, attitude and behavioral changes
SELİN SAĞLAM PINAR
Doktora
Türkçe
2021
Sağlık EğitimiBaşkent ÜniversitesiHalk Sağlığı Ana Bilim Dalı
PROF. DR. RENGİN ERDAL