Brain computer interface design and implementation using machine learning with user feedback - Arı, Emre (My University, 2023)
Beyin bilgisayar arayüzleri, son yılların en heyecan verici ve en zorlu araştırma alanlarından biridir. Nörobilim alanındaki ilerlemeler, bilgisayarların işlemci güçlerinin artması ve yeni nesil makine öğrenmesi yöntemlerinin ortaya çıkmasıyla beraber bu alanda umut verici çalışmalar yapılmaya başlanmıştır. Bu çalışmalar sağlıktan eğitime, eğlenceden güvenliğe, çevre etkileşiminden pazarlamaya kadar geniş bir alana yayılmıştır. Beyin bilgisayar arayüzlerinin geliştirilmesinde en önemli noktalardan biri beyin sinyallerinin hızlı, doğru ve robust bir şekilde sınıflandırılmasıdır. Bu sınıflandırma aşamasında elde edilecek başarı, sınıflandırma öncesi aşama olan sinyal toplama ve sınıflandırma sonrası aşama olan dış aygıt kontrolünün performasına doğrudan ve yüksek oranda etki edecektir. Bu tezin temel amacı, motor imagery beyin sinyallerinin bir evrişimli sinirsel ağ modeli geliştirilerek yüksek performanslı bir şekilde sınıflandırılması, bir arayüz yazılımı geliştirilerek sınıflandırıcının bu arayüze entegre edilmesi ve bu arayüz ile dış bir aygıtın beyin sinyalleriyle kontrol edilmesidir. Tezin ilk aşamasında, literatürde en çok kullanılan motor imagery verisetlerinden olan BCI Competition IV – 2A ve BCI Competition IV – 2B verisetleri analiz edilmiş ve bu veriler kullanılarak herhangi bir sinyal önişleme yapmadan ham veriler kullanan ve birçok son teknoloji modelden daha iyi sonuçlar elde eden iki evrişimli sinirsel ağ modeli geliştirilmiştir (NF-EEG, IS-EEG). Tezin ikinci aşamasında bir beyin bilgisayar arayüz yazılımı geliştirilmiştir (NF-BCI). Bu arayüz, üç ana görevi gerçek zamanlı olarak yerine getirebilmektedir. İlk olarak arayüze beyin sinyalleri girmekte ve giren beyin sinyalleri gerçek zamanlı olarak arayüz üzerinde çizdirilmektedir. İkinci olarak arayüze geliştirilen NF-EEG ve IS-EEG modelleri entegre edilmiştir ve bu modeller sisteme giren sinyalleri gerçek zamanlı olarak sınıflandırmaktadırlar. Üçüncü olarak arayüz ile bir mikrokontrolör bağlantısı kurulmuştur ve arayüz bilgisayarı ve bir robotik kolu kontrol edebilmektedir. Tezin üçüncü aşamasında ise eklemeli imalat yöntemiyle bir robot kol üretimi yapılmıştır ve bu robot kol mekanik ve elektronik bileşenleri bir araya getirilerek arayüze bağlanmıştır. Bu sayede hem tekil görevleri yerine getirebilecek hem de gelecek araştırmalarda kullanılabilecek bir beyin bilgisayar arayüzü geliştirilmiştir.

Brain-computer interfaces are one of the most exciting and challenging areas of research in recent years. With the advances in neuroscience, the increase in the processing power of computers and the emergence of new generation machine learning methods, promising studies have begun to be made in this field. These studies have spread over a wide area from health to education, from entertainment to safety, from environmental interaction to marketing. One of the most important points in the development of brain computer interfaces is the fast, accurate and robust classification of brain signals. Success in this classification stage will directly and highly affect the performance of the signal receiving stage, which is the pre-classification stage, and the performance of the external device control, which is the post-classification stage. The main purpose of this thesis is to classify motor imagery brain signals with high performance by developing a convolutional neural network model, to develop an interface software and to integrate the classifier into this interface and to control an external device with brain signals with this interface. In the first stage of the thesis, BCI Competition IV – 2A and BCI Competition IV – 2A datasets, which are the most used motor imagery datasets in the literature, were analyzed and using these data, two convolutional neural network model has been developed (NF-EEG, IS-EEG) that use raw data without any signal preprocessing and outperformed many state-of-the-art models. In the second phase of the thesis, a brain computer interface software was developed (NF-BCI). This interface can perform three main tasks in real time. First of all, brain signals enter the interface and incoming brain signals are plotted on the interface in real time. Secondly, developed NF-EEG and IS-EEG models are integrated into the interface and these models classify the signals entering the system in real time. Third, a microcontroller connection has been established with the interface, and the interface can control the computer and a robotic arm. In the third stage of the thesis, a robot arm was produced with the additive manufacturing method and this robot arm was connected to the interface by bringing together the mechanical and electronic components. As a result of this thesis, a brain-computer interface has been developed that can both perform individual tasks and be used in future research.
Kullanıcı geribeslemeli makine öğrenmesi ile beyin bilgisayar arayüzü tasarımı ve uygulaması
Keywords: Beyin bilgisayar arayüzü (BBA); classification; deep learning; derin öğrenme; EEG motor imagery; ham veri brain–computer interface (BCI); input shape; machine learning; Makine mühendisliği; makine öğrenmesi; Mechanical engineering; raw data; robotic arm; robotik kol; sınıflandırma; veri yapısı