Towards augmenting error annotation and post-editing in the genai age: A multimethod translation process research study
Çeviri hata sınıflandırmasını ve makine çevirisi sonrası düzeltmeyi artırmaya doğru: Çok yöntemli bir çeviri süreci araştırması
- Tez No: 961965
- Danışmanlar: DOÇ. DR. SENEM ÖNER BULUT
- Tez Türü: Yüksek Lisans
- Konular: Mütercim-Tercümanlık, Translation and Interpretation
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Batı Dilleri ve Edebiyatları Ana Bilim Dalı
- Bilim Dalı: Diller ve Kültürlerarası Çeviribilim Bilim Dalı
- Sayfa Sayısı: 145
Özet
Dil teknolojilerindeki son gelişmeler ve özellikle nöral makine çevirisi (NMÇ) ile üretici yapay zekâ (ÜYZ) teknolojilerinin ortaya çıkışı, çeviri süreçlerindeki insan-makine etkileşimini köklü biçimde dönüştürmüştür. Bu teknolojiler, özellikle makine çevirisi sonrası düzeltme (MÇSD) bağlamında, edinç ve faillik açısından yeni yapılandırmaları beraberinde getirmiştir. MÇSD artık yalnızca verimlilik odaklı bir işlem değil, günümüz çeviri pratiğinde merkezi ve bilişsel olarak karmaşık bir etkinlik haline gelmiştir. Bu durum, otomasyonun sınırlarını görünür kılarken insan çevirmenin yorumlayıcı yetisini öne çıkarmaktadır (Massey, 2021; Rico Pérez, 2024). Bu dönüşüm, çevirinin kavramsallaştırılmasında daha geniş bir epistemolojik değişimle koşutluk göstermektedir. Tekno-çözümcü ve mühendislik temelli yaklaşımlar çeviriyi giderek daha fazla hesaplamaya dayalı ve 'doğruluk' odaklı bir süreç olarak çerçevelerken (ör. Johnson vd., 2017; Hassan vd., 2018; NLLB Team, 2022, akt. do Carmo, 2022), bu indirgemeci bakış açısı, çevirinin yalnızca“eşdeğerlik”değil, çoğunlukla“eşdeğersizlik”ile baş etme süreci olduğunu göz ardı etmektedir (do Carmo, 2022). Söz konusu süreç ise bağlamsal farkındalık, yorumlayıcı muhakeme ve bilişsel esneklik gerektirir. Bu tez çalışması, Olohan'ın (2011)“faillik dansı”kavramını temel alarak MÇSD'yi insan ve makine arasında dinamik bir müzakere alanı olarak ele almakta ve bu etkileşimin merkezine hata sınıflandırması ('error annotation') (HS) sürecini yerleştirmektedir. HS yalnızca yüzeysel hataların belirlenmesini değil yorumlayıcı akıl yürütme, ayrıntılı kategorilendirme ve üst-bilişsel farkındalık gerektirmekte ve MÇSD kalitesini doğrudan etkileyebilmektedir. Bu tez, insan bilişinin uyarlanabilir araçlarla desteklenmesi anlamında kullanılan yapay zekâ destekli artırma kavramı (augmentation) çerçevesinde, HS ve MÇSD süreçlerinin birbirini nasıl etkilediğini araştırmaktadır. Biliş çeviribilim (BÇ) ile çeviri süreci araştırmaları (ÇSA) çerçevesine dayanan bu çok yöntemli çalışma, bir çeviri kalite standartları dersi kapsamında yer alan dokuz yüksek lisans öğrencisinin biliş süreçlerini incelemektedir. Katılımcılar iki aşamalı HS ve MÇSD görevleri gerçekleştirmiştir. Aşama I'de katılımcılar ya standart bir işlemci (kontrol grubu) ya da MQM tipolojisi ve ChatGPT-4o'yu entegre eden, bu tez kapsamında geliştirilen özel bir yapay zekâ destekli araçla (deney grubu) çalışmıştır. Aşama II'de tüm katılımcılar, NMÇ ve AI Assistant özellikleri etkinleştirilmiş Trados Studio 2024 kullanarak NMÇ üretimi metinleri düzeltmiştir. Veri toplama araçları arasında tuş kaydı, ekran kaydı, sesli düşünme protokolü ve geriye dönük sözelleştirme yer almıştır. COMET ve R ile yapılan karşılaştırmalı analizler, deney grubunun üretimlerinin ham MÇ'den daha fazla ayrıştığını ve kalite açısından daha yüksek değerlendirildiğini ortaya koymuştur. Deney grubunun kullandığı yapay zekâ destekli araç, HS sırasında daha ayrıntılı hata sınıflandırmasına ve daha derin bilişsel katılıma olanak sağlamış, bu da MÇSD performansını artırmıştır. Çalışma, COMET makine-destekli otomatik kalite değerlendirmesinin ve R ile yapılan istatistiksel analizlerin grup içi karşılaştırmalarla birleştirildiği; HS sürecinin nicel ölçümünün biliş dinamiklerini açığa çıkarmada kullanıldığı; tuş kaydı, ekran kaydı, TAP ve geri dönük sözelleştirmenin veri kaynağı olarak bilişsel süreçleri izlemede bir araya getirildiği özgün bir çok yöntemli ÇSA örneği sunmaktadır. Temel amacı, BÇ ve ÇSA içinde görgül bilgi birikimine katkı sağlamak olan bu çalışma, aynı zamanda ÜYZ etkisindeki çeviri ortamlarında gelişmekte olan alt yeterlilikler, örneğin istem mühendisliği, üzerine bir tartışma açmaktadır. Bulgular, çeviri teknolojileri ve eğitiminde işbirliğini önceleyen, insan merkezli ve bilişsel dinamikleri göz önünde bulunduran yaklaşımların geliştirilmesini desteklemektedir; bunun da ÜYZ çağında ve sonrasında çeviri edincinin sınırlarını genişletebileceği öne sürülebilir.
Özet (Çeviri)
Recent developments in language technologies, particularly the integration of neural machine translation (NMT) and generative artificial intelligence (GenAI), have fundamentally reshaped the dynamics of human-machine interaction in translation workflows. These technologies have introduced new configurations of agency and competence, especially within the context of post-editing (PE), which now occupies a central role in contemporary translation practice. No longer a peripheral or efficiency-driven task, PE has evolved into a cognitively complex activity that exposes the limitations of automation while foregrounding the interpretive agency of the human translator (Massey, 2021; Rico Pérez, 2024). This transformation parallels a broader epistemological shift in how translation is conceptualized. Techno-solutionist and engineering-driven discourses increasingly frame translation as a computational, accuracy-oriented process (e.g., Johnson et al., 2017; Hassan et al., 2018; NLLB Team, 2022, as cited in do Carmo, 2022). Such reductionist views obscure the fact that translation is not merely about achieving“equivalence,”but about navigating“non-equivalence”(do Carmo, 2022), a process that demands contextual awareness, interpretive judgment, and cognitive flexibility. Drawing on Olohan's (2011)“dance of agency,”this study acts on the notion of PE as a space of dynamic negotiation between human and machine, requiring reflective and agentive cognitive engagement. Central to this interaction is error annotation (EA), which involves more than identifying surface-level issues. Effective EA demands interpretive reasoning, nuanced categorization, and metacognitive awareness, skills that directly inform the quality of post-editing. This thesis responds to this paradigm shift by investigating how AI-powered augmentation, understood as the enhancement of human cognition through adaptive tools, can support and reshape EA and PE. Situated within the framework of Cognitive Translation and Interpreting Studies (CTIS) and grounded in Translation Process Research (TPR), this multimethod study analyzes the cognitive dynamics of nine MA students enrolled in a translation quality standards course. Participants completed EA and PE tasks in two stages. In Stage I, participants used either a standard processor (control group) or a customized AI-augmented annotation tool, created for the purpose of this thesis, (experimental group) integrating MQM typology and ChatGPT-4o. In Stage II, all participants post-edited GenAI-generated texts using Trados Studio 2024 with NMT and AI Assistant features enabled. Data were collected via keylogging (Inputlog), screen recording (Camtasia), think-aloud protocols, and retrospective verbalizations. Comparative analysis using COMET and R revealed that the experimental group produced outputs that diverged more from raw MT and were rated higher in quality, while the control group's outputs remained closer to the original. The augmented annotation tool also facilitated more granular error classification and deeper cognitive engagement during EA, which translated into improved PE performance. The study highlights multimethod TPR with a novel perspective: the integration of COMET automated machine quality evaluation and statistical analysis via R for intra-group comparison; the qualitative and quantitative measurement of error annotation process to investigate cognitive dynamics during EA; and triangulation of keylogging, screen recording, think-aloud protocols, and retrospective verbalizations to trace the (meta-)cognitive processes underlying translator interaction with GenAI. While the primary contribution lies in advancing empirical and experimental knowledge within CTIS and TPR, the study also opens a forward-looking discussion on the sub-competences that may emerge in GenAI-influenced workflows such as prompt literacy and collaborative AI interaction. Ultimately, the findings support the development of cognitively aligned, human-centered translation technologies and training approaches that prioritize cooperation over emulation, pushing the boundaries of translation competence in the GenAI age and beyond.
Benzer Tezler
- Su kütlesi değişiminin uydu gravite verileriyle analizi ve modellenmesi
Analysis and modelling of water mass variation by using satellite gravity data
ÖZGE GÜNEŞ
Doktora
Türkçe
2024
Jeodezi ve FotogrametriYıldız Teknik ÜniversitesiHarita Mühendisliği Ana Bilim Dalı
PROF. DR. CÜNEYT AYDIN
- Açık ve bulutlu atmosfer koşullarında saatlik toplam ışınım öngörüsü için bir model
Hourly total solar radiation model for clear and cloudy atmospheres
SEMA TOPÇU
- A stress testıng framework for the Turkısh bankıng sector: an augmented approach
Türk bankacılık sektörü için bir stres testi çerçevesi: Bir genişletilmiş yaklaşım
BAHADIR ÇAKMAK
Doktora
İngilizce
2014
BankacılıkOrta Doğu Teknik Üniversitesiİktisat Ana Bilim Dalı
PROF. DR. NADİR ÖCAL
- Bir kamusal alan olarak Akçakoca köylü pazarı ve pazarcı kadınlar
Akçakoca peasant market place as a public space and marketer women
HANİFE ALİEFENDİOĞLU
Doktora
Türkçe
2000
AntropolojiHacettepe ÜniversitesiAntropoloji Ana Bilim Dalı
YRD. DOÇ. DR. BALKI AYDIN ŞAFAK
- Türkiye'nin çevre politikalarında sürdürülebilir gelişme kavramı
The sustainable development concept in environmental polices of Turkey
PINAR KILIÇOĞLU
Yüksek Lisans
Türkçe
2005
Kamu YönetimiAnkara ÜniversitesiKamu Yönetimi ve Siyaset Bilimi Ana Bilim Dalı
PROF. DR. ÇELİK ARUOBA