Kodlayıcı kod çözücü ve dikkat algoritmaları kullanılarak karakter tabanlı kelime üretimi

Abstract

Bu çalışmada, derin öğrenme algoritmalarından kodlayıcı-kod çözücü ve dikkat mimarisi kullanılarak karakter tabanlı Türkçe dil bilgisi kurallarına uygun anlamlı kelime üretimi amaçlanmıştır. Geliştirilen modelin sonuçları diğer derin öğrenme algoritmaları olan LSTM ve GRU modellerinin sonuçları ile karşılaştırılmaktadır. LSTM ve GRU modelleri ile oluşturulan dil modelleri 100 ve 200 epoch değerlerinde ve sıcaklık örnek alma yönteminin farklı eşik değerlerinde birbirine yakın sonuçlar verdiği görülmektedir. Bu modellerden en yüksek başarı değerini 200 epoch ve 0,5 sıcaklık eşik değerinde %88,40 ile GRU modeli vermektedir. Bu çalışma için geliştirilen kodlayıcı-kod çözücü ve dikkat dil modeli ise 100 ve 200 epoch değerlerinde ve sıcaklık örnek alma yönteminin farklı eşik değerlerinde en yüksek başarı değerini 200 epoch ve 0,5 sıcaklık eşik değerinde %91,90 ile vermektedir. Yapılan denemeler sonunda, kodlayıcı-kod çözücü ve dikkat mimarisi modeli LSTM modeline göre ortalama olarak %2,83 ve GRU modeline göre ortalama olarak %0,19 oranında daha fazla başarı göstermiştir.

In this study, it is aimed to produce meaningful words in accordance with character-based Turkish grammar rules by using encoder-decoder and attention architecture, which are deep learning algorithms. The results of the developed model are compared with the results of LSTM and GRU models, which are other deep learning algorithms. It is seen that the language models created with LSTM and GRU models give similar results at 100 and 200 epoch values and at different threshold values of the temperature sampling method. Among these models, the GRU model gives the highest success value with 88.40% at 200 epochs and 0.5 temperature threshold value. The encoder-decoder and attention language model developed for this study gives the highest success value of 91.90% at 100 and 200 epoch values and at different threshold values of the temperature sampling method at 200 epoch and 0.5 temperature threshold value. At the end of the experiments, the encoder-decoder and attention architecture model showed an average of 2.83% more success than the LSTM model and an average of 0.19% more success than the GRU model.