İngilizce-Türkçe dil çiftinde makine çevirisi hata analizi: İnsanın merkezde olduğu bir kalite değerlendirme araştırması

Abstract

Bu çalışmanın amacı İngilizce-Türkçe dil çifti özelinde insan tarafından yapılan makine çevirisi kalite değerlendirmesini sorunsallaştırmaktır. Nitekim literatürde, kalite değerlendirmelerinde belirleyici olan değişkenlerin (Lommel, Popović, Burchardt 2014, 37), değerlendiriciler arasında görülen uyumsuzluklar ile farklı dilsel (dilbilimsel) olgular arasındaki ilişkilerin (Popović 2021, 235) ve en yeni manuel makine çevirisi değerlendirme metriklerine dair değişiklik gereksinimlerinin (Castilho 2021, 42) tespitine yönelik ihtiyaca vurgu yapılmaktadır. Bu bağlamda çalışmanın çıkış noktasını, sözü edilen açılardan derinlikli araştırma gereksinimi ve manuel makine çevirisi değerlendirme yöntem ve metriklerinin İngilizce-Türkçe dil çiftinde uygulanabilirliğine ilişkin araştırma eksikliği oluşturmaktadır. Çalışma kapsamında, bilimsel makale özetlerinden ve haber metinlerinden oluşan toplam altı İngilizce metnin Google Translate ve Systran Translate’ten elde edilen Türkçe ham makine çevirisi çıktıları hata analizine tabi tutulmuştur. Hata analizi, Kantan Machine Translation (KantanMT) sistemi ve Multidimensional Quality Metrics (MQM) kümesi kullanılarak dört farklı uzman değerlendirici tarafından gerçekleştirilmiştir. Ayrıca, yaptıkları hata analizine ilişkin olarak söz konusu değerlendiricilerin görüş ve değerlendirmeleri alınmıştır. Elde edilen verilerin analizi sonucunda, nöral makine çevirisi çıktılarındaki hata türlerinin metin türüne göre belirgin bir farklılık göstermediği; aynı çeviri metin üzerinde farklı insan uzmanlar tarafından hata analizi yapıldığında farklı hata türlerinin işaretlendiği; makine çevirisi hatalarının genel kalite metriklerinde bulunmayan, kendine özgü durumları içerdiği; dünya genelinde en yaygın kullanıma sahip kalite metriklerinden olan MQM’deki hata türlerinin tanımları arasında örtüşmelerin bulunduğu ve MQM’de sunulan hata kategorilerinden bazılarının İngilizce-Türkçe dil çifti için tam anlamıyla işlevsel olmadığı tespit edilmiştir. Çalışmada, insan tarafından yapılan hata analizindeki görüş birliğinin düşüklüğünün sunulan hata sınıflandırması ve kategori tanımlarının yeterince açık ve kapsayıcı olmaması, sürece dahil o