El hareketlerinin gerçekleştirilmesi ve gözlemlenmesi esnasında kaydedilen EEG sinyallerinden derin öğrenme temelli sınıflandırma ile ayna nöron aktivitesinin değerlendirilmesi

Abstract

El hareketlerinin gerçekleştirilmesi ve gözlemlenmesi esnasında kaydedilen EEG sinyallerinden derin öğrenme temelli sınıflandırma ile ayna nöron aktivitesinin değerlendirilmesiÖğrenci Adı: Hüseyin AKBULUTDanışman Adı: Doç. Dr. Adil Deniz DURUAmaç: Bireylerin başka bir insanın hareketini gözlemlediği esnada motor ve sensorimotor kortekste gözlemlenen nöronal aktivite, hareketi kendi uyguladığı sırada görülen aktiviteye benzer şekilde EEG’nin alfa (8-13 Hz) ve beta (14-25) frekans bantlarında gözlemlenir. Bu çalışmanın amacı, EEG sinyalleri kullanılarak katılımcıların top sıkma hareketini gerçekleştirdikleri ve gözlemledikleri durumların sınıflandırılmasıdır.Gereç ve yöntem: Çalışmada EEG ölçümleri ile eş zamanlı olarak katılımcıların el hareketleri 1280x720 piksel, 60 Hz çözünürlükte videolara kaydedildi ve elde edilen görüntüler değerlendirilerek EEG sinyalleri hareket ve gözlem bölümlerine ayrıldı. Dokuz katılımcının tekrarlı hareket ve gözlemler sırasında kaydedilen her el hareketine karşılık gelen EEG sinyalleri 500 ms lik pencerelere ayrıldı. Bu pencereler üzerinde zaman-frekans analizi gerçekleştirildi. İki boyutlu zaman-frekans çıktısı ve zaman-frekans Gram matrisleri konvolüsyonel sinir ağlarına girdi olarak kullanılarak sınıflandırma gerçekleştirildi. Kaydedilen EEG sinyallerinin yapay sinir ağları ile değerlendirilmesi için özelleştirilmiş VGGNet yapay sinir ağı yapısı kullanıldı.Bulgular: Farklı hareket bölümleri, ağ yapısı ve matematiksel işlemler ile oluşturulan görüntülerin değiştirilerek kullanıldığı yapay sinir ağlarında ikili grup eğitimi ve testlerinde en yüksek test skorlarına %80 üzerinde doğruluk yüzdesiyle dinlenim durumu ile hareket uygulaması ve gözlemleri arasında ulaşıldı. Zaman-frekans çıktısının Gram matrisleri kullanılması sonucu hareketin uygulanması bölümü kullanılarak oluşturulan setin, hareketin gözlemlenmesi ile test edilmesinde %75 doğruluk skoruna ulaşıldı.Sonuç: EEG zaman-frekans ve zaman-frekans çıktısının Gram matrislerinden elde edilen geometrik görüntülerin yapay sinir ağları ile sınıflandırılması, hareketin ve ayna nöron aktivitesinin uzamsal ve zamansal değişimi hakkında bilgi vermektedir.

Deep learning based classification of EEG signals recorded during execution and observation of hand movements to evaluate the mirror neuron activityStudent’s Name: Hüseyin AKBULUTName of Supervisor: Assoc. Prof. Adil Deniz DURUObjective: The neuronal activities in the motor and sensorimotor cortex at the EEG's alpha (8-13 Hz) and beta (14-25) frequency bands while the individuals observe the movement action of others, resemble the activity when execution the same movement pattern. The purpose of this study was to classify the situations in which the participants perform and observe the ball squeezing of hand movements from the recorded EEG signals.Material and methods: Hand movements of the participants have been recorded at 1280x720 pixels with 60 Hz resolution, simultaneously with the EEG measurements to segment the EEG data. EEG signals corresponding to each hand movements recorded during repetitive movements and observations of nine participants were divided into 500 ms windows. Time-frequency analysis was calculated and the classification was applied using two-dimensional time-frequency output and time-frequencys’ Gramian matrices as input to conventional neural networks.Results: Convolutional neural networks have been run with different network structure, movement segments and calculated images sets. The highest test scores (83%) in binary group comparisons have been achieved between the resting state and movement execution. A 75% accuracy score have been achieved in testing using movement execution sets as training and movement observation sets as testing by time-frequency Gramian matrix.Conclusion: Using artificial neural networks for classification of geometric images of EEG time-frequency distributions and their Gramian matrix provide information on the spatial and temporal dynamics of movement and the mirror neuron activity.