The effect of error annotation on post-editing effort and post-edited product: an experimental study on machine translated subtitles of educational content

Abstract

Bu tezin amacı, hata sınıflandırmasının makine çevirisi sonrası düzelti eforu ve düzelti uygulanan ürün üzerindeki etkisini incelemektir. Çalışma, aynı zamanda kalite değerlendirmesinin, özellikle de makine çevirisi ile çalışmayı öğrenmenin etkili bir yolu olduğunu düşündüğüm hata sınıflandırmasının önemine dikkat çekmeyi amaçlamaktadır. Bu amaçlar doğrultusunda, psikoloji alanında nöral tabanlı bir makine çevirisi modeli eğitilmiştir. Daha sonra çeviri öğrencileri kontrol ve deney grubu olarak ikiye ayrılmış ve deneysel bir çalışma yapılmıştır. Kontrol grubu, psikolojide alanında eğitimsel bir içeriğinin makine tarafından çevrilmiş alt yazılarına düzelti uygulamıştır., Deney grubu ise aynı alt yazıların düzeltiden önce kalitesini değerlendirmiştir. Öğrencilerin zamansal ve teknik çabaları, düzelti uygulanmış ürünlerle karşılaştırılmıştır. Çalışma, makine çevirisi çalışmalarına katkıda bulunmayı ve eğitimsel içeriklerin alt yazısında makine çevirisinin kullanımı konusunda farkındalık yaratmayı hedeflemektedir. ----- The aim is to examine the effect of error annotation on post-editing effort and post-edited product. The research also aims to remark the importance of quality evaluation, especially of error annotation which I argue it is an efficient way to learn how to work with machine translation. Regarding these aims, a neural-based machine translation model in the domain of psychology was trained. Afterwards, an experimental study is conducted with translation students by dividing them into two groups as control and treatment group. Control group post-edited the machine-translated subtitles of an educational content in psychology, treatment group conducted a quality evaluation before the task of post-editing the same subtitles. Their temporal and technical effort were compared to post-edited products. The study intends to contribute to the machine translation studies and to raise awareness in the use of machine translation in subtitling of educational content.