The use of machine translation in high-stakes texts : a case study on guidelines for natural disasters

Abstract

Bu çalışmanın amacı, bilgisayar oyunlarının yerelleştirilmesinde kitle kaynaklı seçenekleri tercih etmek yerine, ücretsiz makine çeviri sistemlerinin kullanılıp kullanılamayacağını sorgulamaktır. Bahsedilen amaç doğrultusunda Kenshi adlı bilgisayar oyununun dil dosyası içerisinden oyun içi ırklar ve bunların alt ırklarıyla bağlantılı olan 30 satır seçilmiş, bu satırlar ücretsiz olarak kullanılabilen ve nöral makine çevirisi sistemi olan Google Translate ve Amazon Translate kullanılarak çevrilmiş, elde edilen ham makine çıktısı ise TAUS "adequacy" ve "fluency" hata türleri kriterleri doğrultusunda üç gönüllü tarafından değerlendirilmiş ve sonrasında da TAUS "Human Translation Quality" kriterlerine uygun olarak ham makine çevirisi çıktısı üzerinde makine çevirisi sonrası düzeltme işlemi uygulanmıştır. Elde edilen veriler ışığında, bahsi geçen makine çevirisi sistemlerinin ham çıktılarının düzeltme olmadan kullanılamayacağı tespit edilmiştir. Google Translate ham çıktılarının ancak %32'sinin, Amazon Translate ham çıktılarının ise %23'ünün düzeltme gerektirmeden kullanılabilir olduğu belirlenmiştir. Buna rağmen makine çevirisi sonrası düzeltme yoluyla, çevirmenlerin saat başı kelime performanslarının en az iki kat arttığı gözlemlenmiştir. Nitekim, makine çevirisi sistemlerinin çeviri yükünü büyük ölçüde azalttığı sonucuna varılmıştır. Ayrıca, bilgisayar oyunu yerelleştirme yeterliliklerinin, makine çevirisi sonrası düzeltme işlemini gerçekleştiren kişilerin düzeltme eforları (edit effort) üzerinde belirleyici bir etkisi olduğu ve özellikle "yaratıcılık" (creativity) ve "bilgisayar oyunlarıyla aşinalık" (familiarity with games culture) yeterliliklerinin, düzeltme eforlarında büyük farklılıklara sebep olduğu saptanmıştır. ----- The aim of this study is to explore whether free to use machine translation systems can be used to localize video games, instead of opting for crowdsourcing options. In line with this aim, 30 lines related to in-game races and their sub-races were selected from the language file of the video game called Kenshi. These lines were translated using Google Translate and Amazon Translate, which are free-to-use neural machine translation systems, and the raw machine translation outputs obtained were evaluated by three volunteers in accordance with TAUS "adequacy" and "fluency" error annotation criteria. Then, in accordance with TAUS "Human Translation Quality" guidelines, the volunteers post-edited the raw machine translation outputs. In the light of the obtained data, it has been determined that the raw outputs of the aforementioned machine translation systems cannot be used without post-editing. It has been determined that only 32% of Google Translate's raw machine translation output and 23% of Amazon Translate's raw machine translation output can be used without post-editing. However, by making use of machine translation post-editing, it was observed that the translators' word per hour performance doubled at minimum. Thus, it has been concluded that machine translation systems substantially decrease the translation workload. In addition, it has been determined that video game localization competences have a decisive effect on the editing efforts of the people who conduct machine translation post-editing, and especially "creativity" and "familiarity with games culture" competences cause great differences in edit efforts.