From prompts to preccision: a comparative experimental study of translation quality outputs with focus on role-based (persona) prompting for madical texts

Abstract

Yapay zekâ tabanlı makine çevirisi etkinliğindeki gelişmelerle birlikte, çeviri eyleminde büyük dil modelleri için istem (prompt) tasarlama yakın dönemde çeviri alanyazınında ilgi görmüş bir alandır. Ne var ki söz konusu istemlere rol (persona) atamanın yaratacağı etki, tıp/ilaç metinleri bağlamında detaylı araştırılma ihtiyacı taşımaktadır. Alanyazındaki bu boşluğa yanıt olarak, bu çalışmada büyük dil modellerine rol temelli istemler sunmanın yaratacağı etki incelenmektedir. Söz konusu incelemeyi yaparken bu çalışma; ilaç metinleri bağlamındaki üç farklı kaynak metin üzerinden, rol temelli istem sunulan büyük dil modellerinin çeviri kalite çıktılarını sıfır atışlı (zero-shot) istem sunulan modellerin çeviri çıktılarıyla kıyaslamaktadır. Ayrıca bu kıyaslamaya, uzun süredir çeviri etkinliğinde yer edinmiş olan, konvansiyonel bir nöral makine çevirisi aracı olan Google Translate'in kalite çıktıları da dahil edilmiştir. Çalışmadaki makine çevirisi çıktıları; BLEU (Bilingual Evaluation Understudy) ve COMET (Crosslingual Optimized Metric for Evaluation of Translation) gibi otomatik kalite ölçütleri aracılığıyla kalite puanlamasına tabi olmuştur. Bu ölçütlerin yanı sıra, MQM'den (Multidimensional Quality Metrics) esinlenilerek tarafımca oluşturulan uyarlanılmış bir çeviri hata tipolojisi aracı kullanılarak çeviri kalite ölçümü gerçekleştirilmiştir. Böylece bu çalışma, tıp/ilaç metinleri bağlamında rol temelli istemlerin çeviri eyleminde ne kadar etkili olduğunu hem nicel hem de nitel bir yaklaşımla keşfetmeyi hedeflemektedir. Zira güçlü bir kalite gözetimi için bu ikili yaklaşımın gerektiğine inanmaktayım. Son olarak, bu çalışmanın tartışma bölümünde makine çevirisi etiği, çevirmen yetkinliği, insan-makine iş birliği gibi yaygın tartışılan kavramlara yer verilmiştir. ----- With the advancements in artificial intelligence-driven machine translation activities, designing prompts for large language models for translation task is an area that recently has gained interest in translation literature. The effectiveness of assigning personas into prompts, however, is a subject that needs further research in medical/pharmaceutical texts domain. In response to this gap, this study aims to evaluate the impact of offering role-based (persona) prompts to large language models. By doing so, the research assesses the quality of translation outputs of role-prompted large language models against 3 different source texts with pharmaceutical content, while comparing these outputs to zero-shot prompted models alongside the outputs from long-rooted conventional neural machine translation system: Google Translate. While evaluating automated metric scores such as BLEU (Bilingual Evaluation Understudy) and COMET (Crosslingual Optimized Metric for Evaluation of Translation) from the machine translation outputs, I performed TQE (Translation Quality Evaluation) analysis through a customized TQE error-typology tool, motivated and inspired by MQM (Multidimensional Quality Metrics) framework. Therefore, this study tries to discover how effective role-based prompts are in medical/pharmaceutical domain translation with both a quantitative and also a qualitative approach, as I believe that such a hybrid approach is essential for a solid oversight of quality. Lastly, the study will include discussions over the widely-discussed concepts of machine translation ethics, translator competence, and human-machine collaboration.