Kodlayıcı kod çözücü ve dikkat algoritmaları kullanılarak karakter tabanlı kelime üretimi - İNAN, TİMUR (My University, 2024)
Bu çalışmada, derin öğrenme algoritmalarından kodlayıcı-kod çözücü ve dikkat mimarisi kullanılarak karakter tabanlı Türkçe dil bilgisi kurallarına uygun anlamlı kelime üretimi amaçlanmıştır. Geliştirilen modelin sonuçları diğer derin öğrenme algoritmaları olan LSTM ve GRU modellerinin sonuçları ile karşılaştırılmaktadır. LSTM ve GRU modelleri ile oluşturulan dil modelleri 100 ve 200 epoch değerlerinde ve sıcaklık örnek alma yönteminin farklı eşik değerlerinde birbirine yakın sonuçlar verdiği görülmektedir. Bu modellerden en yüksek başarı değerini 200 epoch ve 0,5 sıcaklık eşik değerinde %88,40 ile GRU modeli vermektedir. Bu çalışma için geliştirilen kodlayıcı-kod çözücü ve dikkat dil modeli ise 100 ve 200 epoch değerlerinde ve sıcaklık örnek alma yönteminin farklı eşik değerlerinde en yüksek başarı değerini 200 epoch ve 0,5 sıcaklık eşik değerinde %91,90 ile vermektedir. Yapılan denemeler sonunda, kodlayıcı-kod çözücü ve dikkat mimarisi modeli LSTM modeline göre ortalama olarak %2,83 ve GRU modeline göre ortalama olarak %0,19 oranında daha fazla başarı göstermiştir.

In this study, it is aimed to produce meaningful words in accordance with character-based Turkish grammar rules by using encoder-decoder and attention architecture, which are deep learning algorithms. The results of the developed model are compared with the results of LSTM and GRU models, which are other deep learning algorithms. It is seen that the language models created with LSTM and GRU models give similar results at 100 and 200 epoch values and at different threshold values of the temperature sampling method. Among these models, the GRU model gives the highest success value with 88.40% at 200 epochs and 0.5 temperature threshold value. The encoder-decoder and attention language model developed for this study gives the highest success value of 91.90% at 100 and 200 epoch values and at different threshold values of the temperature sampling method at 200 epoch and 0.5 temperature threshold value. At the end of the experiments, the encoder-decoder and attention architecture model showed an average of 2.83% more success than the LSTM model and an average of 0.19% more success than the GRU model.
Encoder character based using decoder and attention algorithms word production
Keywords: Bilgisayar Bilimleri; Yapay Zeka, Bilgisayarda Öğrenme ve Örüntü Tanıma; Mühendislik ve Teknoloji; Computer Sciences; Artificial Intelligence, Computer Learning and Pattern Recognition; Engineering and Technology; Mühendislik, Bilişim ve Teknoloji (ENG); Bilgisayar Bilimi; BİLGİSAYAR BİLİMİ, YAPAY ZEKA; Engineering, Computing & Technology (ENG); COMPUTER SCIENCE; COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE; Bilgisayarla Görme ve Örüntü Tanıma; Bilgisayar Bilimi Uygulamaları; Yapay Zeka; Bilgisayar Bilimi (çeşitli); Genel Bilgisayar Bilimi; Fizik Bilimleri; Computer Vision and Pattern Recognition; Computer Science Applications; Artificial Intelligence; Computer Science (miscellaneous); General Computer Science; Physical Sciences; Artificial intelligence; machine learning; natural language processing; language model; text generation; deep learning; Yapay zekâ; makina öğrenmesi; doğal dil işleme; dil modeli; metin üretimi; derin öğrenme