Detection of presentation attacks for face recognition systems - Gündoğar, Mehmet Fatih (My University, 2020)
Yüz tanıma ve doğrulama sistemlerini başka bir kişiye ait görüntü veya video göstererek ya da üç boyutlu maske kullanarak aşmaya çalışan yanıltma atakları önemli tehditlerdir. Yanıltma ataklarının tespiti yüz tanıma tabanlı biyometrik kimlik doğrulama sistemleri için zorlu bir görevdir. Yanıltma ataklarının tespiti hareket tabanlı ve doku tabanlı özelliklerin yardımıyla yapılabileceği gibi canlılık ipuçlarını elde etmeye yarayan temassız fotopletismografi özellikleri kullanılarak da yapılabilmektedir. Temassız fotopletismografi yöntemi ek bir donanıma ihtiyaç duyulmadan sadece kamera ile kayıt edilen videodan kalp atım hızı, solunum oranı ve kalp hızı değişkenliği gibi canlılık özellikleri içeren fizyolojik verilerin çıkarımını sağlayabilmektedir. Bu fizyolojik veriler bir makine öğrenimi sınıflayıcısının sahte ve gerçek yüzleri ayırt edebilmesi amacıyla eğitimi için özellikler olarak kullanılabilir. Bu tezde ilk olarak temassız fotopletismografi verileriyle yanıltma ataklarının tespitine dair uygulanabilecek yöntemler hakkında literatür özeti sunulmuştur. Ayrıca literatürdeki farklı temassız fotopletismografi yöntemlerinden elde edilen özelliklerle yanıltma atağı tespiti deneyleri yapılmış ve 3DMAD, Replay-Attack, Replay-Mobile ve MSU-MFSD veri setleri üzerinde performansları karşılaştırılmıştır. Fotopletismografi tabanlı özelliklerle elde edilen yanıltma atağı tespitine dair sınıflandırma sonuçlarını iyileştirmek için sınıflandırma sürecine hareket tabanlı (kafa pozu, göz bakış açısı ve göz kırpma) ve doku tabanlı özellikler de dahil edilmiştir. Tez kapsamında hem fotopletismografi özelliklerini hem de hareket tabanlı ve doku tabanlı özellikleri kullanarak yanıltma atağı tespiti yapan yeni bir sıralı füzyon yöntemi sunulmuştur. Tez kapsamında önerilen yöntemin ve literatürdeki diğer çalışmaların yarı toplam hata oranı metrikleri üzerinden veri setleri üzerindeki deneysel sonuç karşılaştırmaları sunulmuştur. Deney sonuçları önerilen yöntemin fotopletismografi tabanlı diğer yöntemlerden daha iyi sonuç verdiğini göstermektedir.

Spoofing (presentation) attacks are significant threats for face recognition and authentication systems, which try to deceive them by presenting an image or video of a different subject or using a three-dimensional mask. Presentation attack detection is a challenging task for biometric identity verification systems based on face recognition. As the spoofing detection could be done using motion-based, and texture-based features, it could also be done utilizing remote (non-contact) photoplethysmography features that could help to obtain vitality clues. Remote photoplethysmography is useful for liveness detection from a facial video by estimating physiological signals such as the heart rate, respiratory rate, and heart rate variability that indicate liveness features using only a camera recording without any additional hardware. These physiological signals could be used as features to train a machine learning classifier to differentiate fake faces from genuine faces. In this thesis, we first provide a literature survey of presentation attack detection methods which use non-contact photoplethysmography. Then, we perform presentation attack detection experiments with the features obtained from different non-contact photoplethysmography methods in the literature and compare their performances on 3DMAD, Replay-Attack, Replay-Mobile, and MSU-MFSD datasets. To improve the presentation attack detection results obtained with photoplethysmography-based features, we introduce additional motion-based (head pose, eye gaze, and blink) and texture-based features to the classification process. We also present a novel cascaded fusion system that utilizes an ensemble of classifiers using non-contact photoplethysmography, motion, and texture-based features. We compare the data set evaluation results of the proposed method with the other studies in the literature using the half total error rate metric. Experimental results show that the proposed method outperforms several other PAD methods in the literature, which utilize non-contact photoplethysmography.
Keywords: Bilgisayar mühendisliği; Computer engineering; face recognition; non-contact photoplethysmography; presentation attack detection; rPPG; temassız fotopletismografi; yanıltma atağı tespiti; yüz tanıma