Remote heart rate estimation using non-contact photoplethysmography

Abstract

TEMASSIZ FOTOPLETİSMOGRAFİ İLE KALP ATIM HIZI KESTİRİMİ Temassız Fotopletismografi (PPG) kalp atım hızı gibi insan fizyolojik sinyallerini deri bölgelerindeki hafif renk değişimlerini kullanarak kestirmeye çalışan temassız ve non-invazif bir yöntemdir. İnsan yüzü çoğu zaman görünen bir bölge olduğu için, yüz videoları ile uzaktan kestirim için kullanılmaktadır. Yüzün katı veya esnek hareketi ve aydınlatma değişimleri kalp atım hızı kestiriminin doğruluğunu en fazla etkileyen zorluklardandır. Bu tez çalışması kapsamında, yakın zamanda sunulan bir kör kaynak ayrıştırma yöntemi olan Lineer Olmayan Bileşen Çözümlemesi (NMD) kullanarak insan videosundaki yüz bölgesinden kalp atım hızı kestirimi yapan yeni bir metot sunuyoruz. NMD yönteminin gürültüye karşı daha gürbüz olduğu literatürde gösterilmiştir. Tez kapsamında, ayrıca, sinyal bileşen ayrıştırması sonucunda elde eden aday kalp atım hızlarının seçilmesi için geçici maliyet fonksiyonunu en aza indirgeyen zaman bağımlı tutarlılık kontrolü – HBCC adında yeni bir metot sunuyoruz. İki veri seti üzerinde yapmış olduğumuz deneyler önerdiğimiz yöntemin (rPPG-NMD) birçok modern temassız fotopletismografi kalp atım hızı tahmin yöntemlerine göre daha iyi ya da kıyaslanabilir sonuçlar verdiğini ortaya koymuştur.

REMOTE HEART RATE ESTIMATION USING NON-CONTACT PHOTOPLETHYSMOGRAPHY Remote Photoplethysmography (PPG) is a non-contact and non-invasive way of estimating human physiological signals such as the heart rate using the subtle color changes of the skin. Since the face of a person is generally visible, face region can be used for estimating the physiological signals remotely. Rigid and non-rigid motion of the face and illumination variations are the main challenges that affect the accuracy of the heart rate estimation. In this thesis, we present a new method for estimating the heart rate of a person from the skin regions of a facial video. The proposed method is Nonlinear Mode Decomposition (NMD), which is a recently proposed blind source separation method and has been shown to be robust to noise. We also propose a new method, namely history-based consistency check (HBCC) for selecting the best heart rate candidate after NMD, by minimizing a temporal cost function. Experiments on two datasets show that the proposed method (rPPG-NMD) achieves promising results as compared to the several state-of-the-art methods for rPPG-based remote heart rate estimation.