From prompts to precision: A comparative experimental study of translation quality outputs with focus on role-based (Persona) prompting for medical texts
İstemlerden doğruluğa: Tıp metinlerinde rol (Persona) temelli istem odaklı çeviri kalite çıktıları üzerine karşılaştırmalı deneysel bir çalışma
- Tez No: 943900
- Danışmanlar: PROF. DR. IŞIN ÖNER
- Tez Türü: Yüksek Lisans
- Konular: Mütercim-Tercümanlık, Translation and Interpretation
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İstanbul 29 Mayıs Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Mütercim Tercümanlık Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Yapay zekâ tabanlı makine çevirisi etkinliğindeki gelişmelerle birlikte, çeviri eyleminde büyük dil modelleri için istem (prompt) tasarlama yakın dönemde çeviri alanyazınında ilgi görmüş bir alandır. Ne var ki söz konusu istemlere rol (persona) atamanın yaratacağı etki, tıp/ilaç metinleri bağlamında detaylı araştırılma ihtiyacı taşımaktadır. Alanyazındaki bu boşluğa yanıt olarak, bu çalışmada büyük dil modellerine rol temelli istemler sunmanın yaratacağı etki incelenmektedir. Söz konusu incelemeyi yaparken bu çalışma; ilaç metinleri bağlamındaki üç farklı kaynak metin üzerinden, rol temelli istem sunulan büyük dil modellerinin çeviri kalite çıktılarını sıfır atışlı (zero-shot) istem sunulan modellerin çeviri çıktılarıyla kıyaslamaktadır. Ayrıca bu kıyaslamaya, uzun süredir çeviri etkinliğinde yer edinmiş olan, konvansiyonel bir nöral makine çevirisi aracı olan Google Translate'in kalite çıktıları da dahil edilmiştir. Çalışmadaki makine çevirisi çıktıları; BLEU (Bilingual Evaluation Understudy) ve COMET (Crosslingual Optimized Metric for Evaluation of Translation) gibi otomatik kalite ölçütleri aracılığıyla kalite puanlamasına tabi olmuştur. Bu ölçütlerin yanı sıra, MQM'den (Multidimensional Quality Metrics) esinlenilerek tarafımca oluşturulan uyarlanılmış bir çeviri hata tipolojisi aracı kullanılarak çeviri kalite ölçümü gerçekleştirilmiştir. Böylece bu çalışma, tıp/ilaç metinleri bağlamında rol temelli istemlerin çeviri eyleminde ne kadar etkili olduğunu hem nicel hem de nitel bir yaklaşımla keşfetmeyi hedeflemektedir. Zira güçlü bir kalite gözetimi için bu ikili yaklaşımın gerektiğine inanmaktayım. Son olarak, bu çalışmanın tartışma bölümünde makine çevirisi etiği, çevirmen yetkinliği, insan-makine iş birliği gibi yaygın tartışılan kavramlara yer verilmiştir.
Özet (Çeviri)
With the advancements in artificial intelligence-driven machine translation activities, designing prompts for large language models for translation task is an area that recently has gained interest in translation literature. The effectiveness of assigning personas into prompts, however, is a subject that needs further research in medical/pharmaceutical texts domain. In response to this gap, this study aims to evaluate the impact of offering role-based (persona) prompts to large language models. By doing so, the research assesses the quality of translation outputs of role-prompted large language models against 3 different source texts with pharmaceutical content, while comparing these outputs to zero-shot prompted models alongside the outputs from long-rooted conventional neural machine translation system: Google Translate. While evaluating automated metric scores such as BLEU (Bilingual Evaluation Understudy) and COMET (Crosslingual Optimized Metric for Evaluation of Translation) from the machine translation outputs, I performed TQE (Translation Quality Evaluation) analysis through a customized TQE error-typology tool, motivated and inspired by MQM (Multidimensional Quality Metrics) framework. Therefore, this study tries to discover how effective role-based prompts are in medical/pharmaceutical domain translation with both a quantitative and also a qualitative approach, as I believe that such a hybrid approach is essential for a solid oversight of quality. Lastly, the study will include discussions over the widely-discussed concepts of machine translation ethics, translator competence, and human-machine collaboration.
Benzer Tezler
- Çimentonun sertleşmesi üzerinde kimyasal komponentlerin etkisi
Başlık çevirisi yok
NACİYE TÜRKEL
Yüksek Lisans
Türkçe
1986
Kimya MühendisliğiUludağ ÜniversitesiKimya Ana Bilim Dalı
PROF. DR. MUSTAFA CEBE
- Doğuştan kalça çıkıklı hastalarda kalça patolojilerinin bilgisayarlı tomografi ile değerlendirilmesi
Başlık çevirisi yok
NECDET ŞÜKRÜ ALTUN
Tıpta Uzmanlık
Türkçe
1987
Ortopedi ve TravmatolojiGazi ÜniversitesiOrtopedi ve Travmatoloji Ana Bilim Dalı
PROF.DR. ORHAN ASLANOĞLU
- Kuyruk modelleri ve analizi üzerine bir uygulama
Başlık çevirisi yok
DİDEM ÖZPULAT
Yüksek Lisans
Türkçe
1985
İstatistikEge ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. DR. FİKRET İKİZ
- İlkokul çağı erkek çocuklarında inmemiş testis anomalisi ve insidansı
The anomaly and incidence of cryptorchidism in primary school boys
SERDAR SEZGİN