Parçacık sürü optimizasyonu ve elastik net düzenlemesine dayalı hibrit bir değişken seçim yöntemi

Abstract

Yüksek boyutlu verilerde değişken seçimi, makine öğrenmesi yöntemlerinin tahmin performansını arttırmak için çok önemli bir önsel adımdır. Gözlem sayısından daha fazla değişken olması durumu makine öğrenmesi yöntemlerini hesaplama verimliliği ve tahmin performansı açısından olumsuz etkilemektedir. Bu çalışmada yüksek boyutlu verilerde değişken seçimi için sarmalıyıcı ve gömülü iki yöntemi birleştiren, iki aşamalı yeni bir hibrit değişken seçimi yaklaşımı önerilmiştir. Önerilen yöntemin ilk aşamasında değişken sayısını indirgemek amacıyla ikili parçacık sürü optimizasyonu (BPSO) kullanılmıştır. Meta sezgisel yaklaşımlardan biri olan BPSO diğer meta sezgisel algoritmalara göre basitliği, verimliliği ve hızlı yakınsaması gibi birçok avantajı nedeniyle tercih edilmiştir. Ancak diğer meta sezgisel algoritmalar gibi BPSO’da optimal çözümü garantilemez. Bu sorunu çözmek için ikinci aşama olarak Elastic Net (EN) yaklaşımı kullanılmıştır. EN ceza parametrelerinin seçiminde esneklik ve zaman verimliliği sağladığı için tercih edilmiştir. Bu iki aşamalı hibrit yaklaşımın değişken seçimindeki performansı simülasyon çalışmaları yardımıyla; sensitivity, specifity ve S1 skor metriklerine göre EN yaklaşımıyla karşılaştırılmıştır. Sayısal sonuçlar önerilen yaklaşımın üstünlüğünü doğrulamaktadır. Önerilen yöntem gerçek veri seti üzerinde uygulanmış ve elde edilen modelin tahmin performansı klasik EN yaklaşımı ile karşılaştırılmıştır. Gerçek veri setinde de önerilen yöntemin üstünlüğü görülmüştür.

Variable selection in high-dimensional data is a very important first step to increase the prediction performance of machine learning methods. Having more variables than the number of observations negatively affects machine learning methods in terms of calculation efficiency and prediction performance. In this study, a new two-stage hybrid variable selection approach is proposed, combining two methods, wrapper and embedded, for variable selection in high-dimensional data. In the first stage of the proposed method, binary particle swarm optimization (BPSO) was used to reduce the number of variables. BPSO, one of the meta-heuristic approaches, was preferred over other meta-heuristic algorithms due to its many advantages such as simplicity, efficiency and fast convergence. However, like other metaheuristic algorithms, BPSO does not guarantee an optimal solution. To solve this problem, the Elastic Net (EN) approach was used as the second stage. EN was preferred because it provides flexibility and time efficiency in the selection of penalty parameters. The performance of this two-stage hybrid approach in variable selection was evaluate with the help of simulation studies; It was compared with the EN approach according to sensitivity, specificity and S1 score metrics. Numerical results confirm the superiority of the proposed approach. The proposed method was applied on the real data set and the prediction performance of the resulting model was compared with the classical EN approach. The superiority of the proposed method was also seen in the real data set.