Beden hareketlerinin sınıflandırılması ve performansının incelenmesi

Abstract

Fiziksel rehabilitasyon teknikleri genel sağlık sistemi, hastalar ve aileler için en zorlu alanlardan biridir. Yoğun nüfus, ekipman ve tıbbi cihaz maliyetlerinin yüksek olması, hekim- fizyoterapist-uzman bakıcı eksikliği gibi sorunlar nedeniyle bu alan daha da zorlaşmaktadır. COVID-19 gibi salgınlar insanların fiziksel aktivitesini azaltarak, özellikle fiziksel rehebilitasyon ihtiyacı duyan hastaların tedavi sürecini de zora sokmaktadır. Bu çalışma uzaktan fiziksel rehabilitasyon için beden hareketlerinin sınıflandırılmasına ve bu hareketlerin performansına odaklanmaktadır. Bu amaçla Google tarafından geliştirilen, canlı ve akışlı medya için açık kaynaklı, platformlar arası, özelleştirilebilir makine öğrenim platformu MediaPipe kullanılmıştır. COVID-19 salgını sırasında tele-sağlık hızlı ve geniş bir şekilde yaygınlaşmakla beraber konuyla alakalı yapılan çalışmalarda artış göstermiştir. Gelişen teknoloji ve onun parçalarından biri olan görüntü işleme sayesinde hasta yüksek maliyetli donanımların ortadan kaldırılmasından maddi olarak faydalanır. Bu çalışmanın temel amacı düşük maliyetli kamera ve MediaPipe vasıtasıyla hastalar tarafından yapılan fizik tedavi egzersizlerinin sürekli uzman nezaretinde olmasının mümkün olmadığı durumlarda tekrar sayısının, sınıflandırılmasının ve literatürde yer alan benzer çalışmalardaki yöntemlere kıyasla değişken ortam dinamiklerinde MediaPipe aygıtının nasıl davranış sergilediği gözlemleyerek performansını belirlemektir. Çalışmada Gebze Teknik Üniversitesi araştırmacıları tarafından fizyoterapist danışmanlığında 5 katılımcıdan toplanan 8 adet egzersize ait görüntüler kullanılmıştır. Söz konusu hareketler önerilen eğitim modeli ile eğitilmiş olup 5 adet katılımcıdan test için ayrılan bir adedi ile sistem test edilmiştir. Son katılımcının hareketlerine ait sınıflandırma işlemi sonucunda önerilen eğitim modelinde % 91,41 oranında başarım elde edilmiştir. Hareketlerin tekrarına ilişkin yapılan sayımlar da ise başarımın kameranın açısına, hareket yardımcısı için nesne bulunmasına ve katılımcının giydiği kıyafet rengine göre değişebildiği ancak çoğu harekette başarılı olduğu görülmüştür. Sonuç olarak, MediaPipe’ın incelenen hareketlerin tekrar sayıları ve eklem açılarının tespiti ile sınıflandırılmasında klasik görüntü işleme yaklaşımlarına göre daha yüksek kararlılıkta ve doğrulukta çıktılar verdiğini göstermektedir. Çalışmamızda ilave olarak yeni bir veriseti oluşturularak goniometre ve MediaPipe vasıtasıyla bulunan açı değerleri irdelenmiştir.

Physical rehabilitation techniques are one of the most challenging areas for the general health system, patients and families. This field becomes even more difficult due to problems such as intensive overcrowding, high costs of equipment and medical devices, lack of physicians-physiotherapists-specialised caregivers. Pandemics such as COVID-19 reduce people's physical activity, making the treatment process difficult, especially for patients in need of physical rehabilitation. This study focuses on the classification of body movements for remote physical rehabilitation and the performance of these movements. For this purpose, MediaPipe, an open-source, cross-platform, customisable machine learning platform for live and streaming media developed by Google, was used. During the COVID-19 pandemic, telehealth has become widespread rapidly and widely, and studies on the subject have increased. With emerging technology and image processing as one of its components, the patient benefits financially from the elimination of expensive hardware. The main purpose of this article is to determine the performance of the MediaPipe device by observing the number of repetitions, classification and behaviour of the MediaPipe device in variable environment dynamics compared to the methods in similar studies in the literature, in cases where it is not possible to be under the constant supervision of an expert in physical therapy exercises performed by patients using a low-cost camera and MediaPipe device. In the study, images of 8 exercises collected from 5 participants under the supervision of a physiotherapist by Gebze Technical University researchers were used. These movements were trained with the proposed training model and the system was tested with one of the 5 participants reserved for testing. As a result of the classification process of the movements of the last participant, 91.41% success rate was obtained in the proposed training model. In the counting of the repetition of the movements, it was seen that the success varied depending on the angle of the camera, the presence of an object for the motion aid and the colour of the clothes worn by the participant, but it was successful in most movements. As a result, it is shown that the MediaPipe device provides outputs with higher stability and accuracy than classical image processing approaches in the detection and classification of the repetition counts and joint angles of the movements examined.