Pre-processing techniques for movie review sentiment analysis: a comparative study for best feature set determination

Abstract

Sentiment analysis is considered as the process to extract the overall expression, opinions, or feelings from reviews about something such as products, services, or movies. A pre-processing is considered as a crucial phase in sentiment analysis for text mining because it allows us to analyse the reviews according to its intended meaning by removing all of the appendages which are the words that do not affect the semantic from sentences. And therefore, the number of features will decrease and thus accuracy will increase. Accordingly, we have decided to evaluate our experiment in identifying the best influencing technique of pre-processing for several features through making a comparison between the features and by combining them together to reach the best result based on features number for each pre-processing technique and classification accuracy. this comparison was done by using three algorithms for classification SVM, NB and DT after applying tools for feature selection and feature extraction with three techniques for tokenization. We concluded that there are some of these techniques that have a negative effect like lemmatization and the part of them is not due to any difference, other, which is a little part, have an effectDuygu analizi, ürünler, hizmetler veya filmler gibi bir şey hakkındaki incelemelerden genel ifade, görüş veya duyguları çıkarma süreci olarak kabul edilir. Bir ön işleme, metin madenciliği için duygu analizinde çok önemli bir aşama olarak kabul edilir, çünkü semantiği etkilemeyen kelimelerin tüm eklerini cümlelerden çıkararak yorumları amaçlanan anlamına göre analiz etmemize izin verir. Bu nedenle öznitelik sayısı azalacak ve dolayısıyla doğruluk artacaktır. Buna göre, her bir ön işleme tekniği için özellik numarasına dayalı olarak en iyi sonuca ulaşmak, özellikler arasında bir karşılaştırma yaparak ve bunları bir araya getirerek birkaç özellik için en iyi ön işleme tekniğini belirlenilmiştir. Bu karşılaştırma, üç tokenleştirme tekniği ile özellik seçimi ve özellik çıkarımı için araçlar uygulandıktan sonra sınıflandırma için üç algoritma (SVM, NB ve DT) kullanılarak yapıldı. Bu tekniklerden lemmatizasyon gibi olumsuz etkisi olan bazılarının olduğu ve bunların bir kısmının herhangi bir farklılıktan kaynaklanmadığı, küçük bir kısmının etkisinin olduğu sonucuna varılmıştır.