Bilgisayar çevirisi kalitesinin değerlendirmesi yöntemlerinde tutarlılık
Consistency in the evaluation methods of machine translation quality
- Tez No: 388354
- Danışmanlar: PROF. DR. AYMİL DOĞAN
- Tez Türü: Yüksek Lisans
- Konular: Mütercim-Tercümanlık, Translation and Interpretation
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2015
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Mütercim Tercümanlık Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 212
Özet
Bilgisayar çevirisi, insan yardımına çeşitli derecelerde başvurarak otomatik çeviri yapan programlar için kullanılan genel terimdir. Bilgisayar bilimi, dilbilim ve çeviribilimi bir araya getiren bu disiplinler arası alanda henüz yanıtlanmamış pek çok soru vardır. Bu sorulardan biri de bilgisayar çevirisi kalitesinin değerlendirmesidir. Buna ek olarak, çeviri teknolojileri söz konusu olduğunda genellikle BÇA'ya yönelen çeviribilim literatüründe bilgisayar çevirisi konusunda bir boşluk yer almaktadır. Bu çalışma İngilizce ve Türkçe arasında çeviri yapan Google Translate, Proçeviri ve Sametran bilgisayar çevirisi programlarının kalitelerini değerlendirerek literatürdeki bu boşluğu doldurmayı hedeflemektedir. Bu çalışma İngilizce'den Türkçe'ye bilgisayar çevirisinin kalitesinin değerlendirmesinde kullanılan iki farklı yöntem olan mikro değerlendirme ve makro değerlendirme arasındaki tutarlılığı araştırmayı amaçlamaktadır. Buna ek olarak, bilgisayar çevirisinin farklı metin türlerinde gösterdiği farklılıklar ve hataların insanların bilgisayar çevirisi kalitesi konusundaki algısı üzerindeki etkisi de araştırılmıştır. Bu sorulara dört farklı metin türü için örnek metinleri çeviren üç farklı bilgisayar çevirisi programlarının çıktıları üzerinde bir inceleme yapılarak cevaplar aranmıştır. Bu çalışmada betimleme yöntemi kullanılmıştır. Yapılan karşılaştırmalı ve karşıtsal inceleme iki basamaklıdır. Önce, bilgisayar çevirisi programlarının çıktıları için Flanagan tarafından tanımlanan hata sınıflandırması çerçevesinde hata incelemesi yapılmıştır. Daha sonra 20 tercümanlık öğrencisinin katılımıyla bir insan değerlendirmesi gerçekleştirilmiştir. Yorumcular çıktıları anlaşılabilirlik, sadakat ve genel kaliteye göre incelemiştir. Gerçekleştirilen incelemelerden elde edilen sonuç, bilgisayar çevirisini tutarlı bir şekilde değerlendirmenin mümkün olduğudur; hata sayıları ve yorumcuların derecelendirme ve sıralamaları arasında benzerlikler vardır. Buna ek olarak, anlaşılabilirlik ve sadakat dereceleri ile genel kalite sıralamaları arasında da benzerlikler vardır. İncelemeden elde edilen en önemli sonuçlardan biri de bilgisayar çevirisi programlarının kalitesinin temel olarak cümlenin uzunluğuna bağlı olduğudur. Çalışmanın hem insan hem de bilgisayar çevirisi araştırmasına, tercümanlık öğrencilerinin katılımıyla gerçekleşen kapsamlı bir değerlendirme sunarak İngilizceden Türkçeye çalışan bilgisayar çevirisi programlarının çıktıları üzerinde bir hata sınıflandırması sunarak katkıda bulunması beklenmektedir. Anahtar Kelimeler Bilgisayar çevirisi, bilgisayar çevirisi değerlendirmesi, çeviri teknolojileri, insan değerlendirmesi, hata sınıflandırması, anlaşılabilirlik, sadakat.
Özet (Çeviri)
Machine translation is the general term for the programs concerning the automatic translation with or without human assistance. It is also an interdisciplinary research area with different questions yet to be answered. One of the fundamental questions of the area is related to the quality assessment of machine translation outputs. In addition, despite to its interdisciplinary nature, machine translation is rarely the research topic for Translation Studies, which focuses more on CAT tools. This study intends to fill this gap in the literature by focusing the evaluation of quality of MT programs available between English and Turkish, namely Google Translate, Proçeviri and Sametran. The study aims at exploring the consistency among two evaluation methods of machine translation quality from English into Turkish: micro evaluation and macro evaluation. In addition, the differences between MT quality for different text types and the impact of errors on human perception of MT quality are also sought. These questions are answered by conducting an analysis of outputs of three machine translation programs translating samples for four different text types. Descriptive method is adopten in the study. The comparative and contrastive analysis conducted is two-fold. Firstly, an error analysis is carried out on the outputs of machine translation programs within the framework of error categorization defined by Flanagan. Then, a human evaluation is conducted with the participation of 20 annotators who are trainee translators. The annotators have evaluated the outputs in terms of intelligibility, fidelity and general quality. The conclusion derived from the analyses carried out is that it is possible to evaluate machine translation consistently; there are similarities between error numbers and the rankings and ratings of human annotators. In addition, there are also similarities between intelligibility and fidelity ratings and general quality ratings. One of the most important results of the analysis is that the quality of machine translation programs depends mainly on the length of sentence. It is expected that the study will contribute both to human translation and machine translation research by providing a comprehensive evaluation by human annotators and by providing an error categorization on the outputs of machine translation programs from English into Turkish. Key words Machine translation, machine translation evaluation, translation technologies, human evaluation, error categorization, intelligibility, fidelity.
Benzer Tezler
- Türkçe akraba dilleri arasında istatistiksel bilgisayarlı çeviri algoritmalarının uygulanması ve başarım testi
Применение и тестирование алгоритмов статистического машинного перевода для тюркских языков
NAKILAY TAYİROVA
Yüksek Lisans
Türkçe
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKırgızistan-Türkiye Manas ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ULAN BRİMKULOV
DOÇ. DR. MEHMET TEKEREK
- A comparative study on the performance of Google Translate between the translation of different text types in the light of the multidimensional quality metrics
Multidimensional quality metrics ışığında farklı metin türlerinin çevirisi arasında Google Translate'in perfromansı üzerine karşılaştırmalı bir çalışma
GÜLNAZ GÖZEN
Yüksek Lisans
İngilizce
2022
Mütercim-TercümanlıkAtılım ÜniversitesiMütercim Tercümanlık Ana Bilim Dalı
PROF. DR. NÜZHET BERRİN AKSOY
- Yazılı tıp metinleri çevirisi sürecinde ChatGPT3 sohbet robotunun konumu ve çeviri ürün kalitesinin değerlendirilmesi
The position of ChatGPT3 chatbot in the process of translation of written medical texts and evulation of translation product quality
RÜVEYDA CANBAZ
Yüksek Lisans
Türkçe
2024
Mütercim-TercümanlıkSakarya ÜniversitesiÇeviribilim Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EYÜP ZENGİN
- İngilizceden Türkçeye istatiksel bilgisayarlı çeviri sistemlerinde paralel derlem boyutu ve kalitesinin etkileri
The effect of parallel corpus quality vs size in English to-Turkish statistical machine translation
ERAY YILDIZ
Yüksek Lisans
Türkçe
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. BANU DİRİ
YRD. DOÇ. DR. AHMET CÜNEYD TANTUĞ
- Makine çevirisinde çözümleme yaklaşımları üzerine bir çalışma
A study on decoding approaches in machine translation
EMRE ŞATIR
Doktora
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HASAN BULUT