Publication: Face recognition using facial dynamics of emotional expressions
Abstract
Biyometrik sistemler, anatomik veya davranışsal özellikleri analiz ederekbireyleri tanımlamak için yaygın olarak kullanılmaktadır. Farklı biyometrikler arasındayüz biyometrik verileri, kullanıcıdan ek bir çaba gerektirmediği ve birçok alandakullanımı kolay olduğu için yaygın olarak tercih edilmektedir. Yüz tanıma sistemleri,kontrollü ortamlarda insan yüzünün fiziksel özelliklerini kullanarak yüksek doğruluklarelde edilebilmektedir. Öte yandan, gerçek hayat koşulları zorlayıcı olabilir (ciddibozulmalar veya sahtekarlık saldırıları gibi), bu nedenle yüz tanıma sistemlerininperformansını artırmak için yüz dinamikleri de önemli hale gelmiştir.Bu tezin ilk katkısı, altı temel duyguyu (mutluluk, üzüntü, öfke, korku, şaşkınlıkve iğrenme) yansıtan spontane ve kasıtlı yüz videolarından oluşan yeni bir yüz ifadesiveri tabanını tanıtmaktır. Veritabanı, her duygu, her denek tarafından birden çok kez(ortalama 10 kez) ifade edildiğinden, duygusal ifadelerin yüz dinamiklerini kullanarakyüz tanıma için uygundur.Tezin ikinci katkısı, yeni bir yüz tanıma sistemi sunmaktır. Bu yüz tanımasisteminde altı temel duygunun ifade edici yüz videolarından elde edilen yüz dinamiközellikleri kullanılmaktadır. Deneysel sonuçlar, tüm duyguların dinamik özelliklerininyüz tanıma için kullanılabilecek önemli ipuçları içeren verilere sahip olduğunugöstermektedir. Kimlikle ilgili en yüksek bilgiyi taşıyan duygusal yüz ifadelerininsırasıyla şaşkınlık, mutluluk, üzüntü ve iğrenme ifadeleri olduğu gözlemlenmiştir.
Biometric systems are widely used for identifying individuals by analyzinganatomical or behavioral characteristics. Among different biometrics, facial biometricdata is commonly preferred as it does not require an additional effort from the user and itis easy to use in many areas. Face recognition systems can achieve high accuracies usingphysical features of the human face in controlled environments. On the other hand, realworldconditions can be challenging (under severe distortions or spoofing attacks),therefore facial dynamics have also become important to increase the success of facerecognition systems.The first contribution of this thesis is to introduce a novel facial expressiondatabase, which consists of spontaneous and deliberate facial videos reflecting the sixbasic emotions (happiness, sadness, anger, fear, surprise, and disgust). The database issuitable for face recognition using facial dynamics of emotional expressions since eachemotion is expressed multiple times (10 times on average) by each subject.The second contribution of the thesis is to present a novel face recognition system.Facial dynamic characteristics derived from expressive face videos of six basic emotionsare used in this face recognition system. The experimental results show that dynamicfeatures of all emotions have data with important clues, which can be used for facerecognition. The emotional facial expressions that carry the highest identity-relatedinformation have been observed to be surprise, happiness, sadness, and disgustexpressions in descending order.
Biometric systems are widely used for identifying individuals by analyzinganatomical or behavioral characteristics. Among different biometrics, facial biometricdata is commonly preferred as it does not require an additional effort from the user and itis easy to use in many areas. Face recognition systems can achieve high accuracies usingphysical features of the human face in controlled environments. On the other hand, realworldconditions can be challenging (under severe distortions or spoofing attacks),therefore facial dynamics have also become important to increase the success of facerecognition systems.The first contribution of this thesis is to introduce a novel facial expressiondatabase, which consists of spontaneous and deliberate facial videos reflecting the sixbasic emotions (happiness, sadness, anger, fear, surprise, and disgust). The database issuitable for face recognition using facial dynamics of emotional expressions since eachemotion is expressed multiple times (10 times on average) by each subject.The second contribution of the thesis is to present a novel face recognition system.Facial dynamic characteristics derived from expressive face videos of six basic emotionsare used in this face recognition system. The experimental results show that dynamicfeatures of all emotions have data with important clues, which can be used for facerecognition. The emotional facial expressions that carry the highest identity-relatedinformation have been observed to be surprise, happiness, sadness, and disgustexpressions in descending order.