From prompts to precision: A comparative experimental study of translation quality outputs with focus on role-based (Persona) prompting for medical texts
İstemlerden doğruluğa: Tıp metinlerinde rol (Persona) temelli istem odaklı çeviri kalite çıktıları üzerine karşılaştırmalı deneysel bir çalışma
- Tez No: 943900
- Danışmanlar: PROF. DR. IŞIN ÖNER
- Tez Türü: Yüksek Lisans
- Konular: Mütercim-Tercümanlık, Translation and Interpretation
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İstanbul 29 Mayıs Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Mütercim Tercümanlık Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 161
Özet
Yapay zekâ tabanlı makine çevirisi etkinliğindeki gelişmelerle birlikte, çeviri eyleminde büyük dil modelleri için istem (prompt) tasarlama yakın dönemde çeviri alanyazınında ilgi görmüş bir alandır. Ne var ki söz konusu istemlere rol (persona) atamanın yaratacağı etki, tıp/ilaç metinleri bağlamında detaylı araştırılma ihtiyacı taşımaktadır. Alanyazındaki bu boşluğa yanıt olarak, bu çalışmada büyük dil modellerine rol temelli istemler sunmanın yaratacağı etki incelenmektedir. Söz konusu incelemeyi yaparken bu çalışma; ilaç metinleri bağlamındaki üç farklı kaynak metin üzerinden, rol temelli istem sunulan büyük dil modellerinin çeviri kalite çıktılarını sıfır atışlı (zero-shot) istem sunulan modellerin çeviri çıktılarıyla kıyaslamaktadır. Ayrıca bu kıyaslamaya, uzun süredir çeviri etkinliğinde yer edinmiş olan, konvansiyonel bir nöral makine çevirisi aracı olan Google Translate'in kalite çıktıları da dahil edilmiştir. Çalışmadaki makine çevirisi çıktıları; BLEU (Bilingual Evaluation Understudy) ve COMET (Crosslingual Optimized Metric for Evaluation of Translation) gibi otomatik kalite ölçütleri aracılığıyla kalite puanlamasına tabi olmuştur. Bu ölçütlerin yanı sıra, MQM'den (Multidimensional Quality Metrics) esinlenilerek tarafımca oluşturulan uyarlanılmış bir çeviri hata tipolojisi aracı kullanılarak çeviri kalite ölçümü gerçekleştirilmiştir. Böylece bu çalışma, tıp/ilaç metinleri bağlamında rol temelli istemlerin çeviri eyleminde ne kadar etkili olduğunu hem nicel hem de nitel bir yaklaşımla keşfetmeyi hedeflemektedir. Zira güçlü bir kalite gözetimi için bu ikili yaklaşımın gerektiğine inanmaktayım. Son olarak, bu çalışmanın tartışma bölümünde makine çevirisi etiği, çevirmen yetkinliği, insan-makine iş birliği gibi yaygın tartışılan kavramlara yer verilmiştir.
Özet (Çeviri)
With the advancements in artificial intelligence-driven machine translation activities, designing prompts for large language models for translation task is an area that recently has gained interest in translation literature. The effectiveness of assigning personas into prompts, however, is a subject that needs further research in medical/pharmaceutical texts domain. In response to this gap, this study aims to evaluate the impact of offering role-based (persona) prompts to large language models. By doing so, the research assesses the quality of translation outputs of role-prompted large language models against 3 different source texts with pharmaceutical content, while comparing these outputs to zero-shot prompted models alongside the outputs from long-rooted conventional neural machine translation system: Google Translate. While evaluating automated metric scores such as BLEU (Bilingual Evaluation Understudy) and COMET (Crosslingual Optimized Metric for Evaluation of Translation) from the machine translation outputs, I performed TQE (Translation Quality Evaluation) analysis through a customized TQE error-typology tool, motivated and inspired by MQM (Multidimensional Quality Metrics) framework. Therefore, this study tries to discover how effective role-based prompts are in medical/pharmaceutical domain translation with both a quantitative and also a qualitative approach, as I believe that such a hybrid approach is essential for a solid oversight of quality. Lastly, the study will include discussions over the widely-discussed concepts of machine translation ethics, translator competence, and human-machine collaboration.
Benzer Tezler
- Advanced retrieval augmented generation: Multilingual semantic retrieval across document types by finetuning transformer based language models and OCR integration
Gelişmiş erişim artirilmiş üretim: Belge türleri arasinda çok dilli anlamsal erişim için transformatör tabanli dil modellerini ince ayarlama ve OCR entegrasyonu
ISMAIL OUBAH
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Aydın ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. SELCUK SENER
- Machine learning of social media data on a spatio-temporal basis
Sosyal medya verilerinin zaman-mekansal temellere göre makine öğrenimi
BÜŞRA YEŞİLBAŞ
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGalatasaray ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. TANKUT ACARMAN
- Bilgisayarlı tomografi görüntülerinde inmenin farklı derin öğrenme modelleri ile sınıflandırılması
Classification of stroke with different deep learning models in computerized tomography images
MUSTAFA ALTINTAŞ
Yüksek Lisans
Türkçe
2021
Mühendislik BilimleriNecmettin Erbakan ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUHAMMET ÜSAME ÖZİÇ
- Bridge surface crack detection based on artificial intelligence techniques
Yapay zeka tekniklerine dayanarak köprü yüzeyi çatlak tespiti
ABBAS ABDULAMEER HAMEED HAMEED
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiBilişim Teknolojileri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ OĞUZ KARAN
- Deprem kayıtlarının istatistiksel analizi ile fay uzaklığına ve kayıtlara dayalı şiddet haritalarının oluşturulması
Generation of intensity maps based on fault distance and earthquake records through statistical analysis of seismic data
HAKAN TURAN
Yüksek Lisans
Türkçe
2024
Deprem Mühendisliğiİstanbul Teknik ÜniversitesiDeprem Mühendisliği Ana Bilim Dalı
DOÇ. DR. BEYZA TAŞKIN
DR. KEREM PEKER