基于积分投影和LSTM的微表情识别研究.docVIP

　　基于积分投影和LSTM的微表情识别研究 摘 要： 现有的微表情识别研究主要是利用基于局部二值模式（LBP）改进的算法并结合支持向量机（SVM）来识别。最近，积分投影开始应用于人脸识别领域。长短时记忆网络（LSTM）作为循环神经网络，可以用来处理时序数据。因此提出了结合积分投影和LSTM的模型（LSTM-IP），在最新的微表情数据库CASME II上进行实验。通过积分投影得到水平和垂直投影向量作为LSTM输入并分类，同时采用了防止过拟合技术。实验结果表明，LSTM-IP算法取得了比以前的方法更好的精度。 中国 8/vie 　　关键词： 积分投影； 循环神经网络； 长短时记忆网络； 防止过拟合技术； 精度； 留一法 　　中图分类号：TP391.4 文献标志码：A ：1006-8228（2017）04-13-04 　　Abstract： The existing research on micro expression recognition is mainly based on the improved LBP （local binary patterns） algorithm and SVM （support vector machine）. Recently， integral projection has been applied in the field of face recognition. The long and short memory e series data. So LSTM-IP model， ented on the latest micro-expression database CASME II. The horizontal and vertical projection vectors obtained by integral projection are used as the input of LSTM and classified， and the over-fitting preventing method is used. The experimental results sho gets better results than the previous method. 　　Key emory 可以对时序数据进行分类，以前基本用在语音识别和自然语言处理的任务中，很少用于图像识别，可能是因为LSTM处理的是一维的数据，而图像是二维的数据。将图像的二维信息积分投影到一维（水平方向和垂直方向），并以此作为LSTM的输入并分类，这样就能将二者很好的结合起来。 　　本文构造了基于积分投影和LSTM的深度学习的模型来对微表情进行识别。得到的结果不仅比以前的基于局部二值模式（LBP）的方法好，而且也略微的优于最近基于积分投影的论文中的方法。 　　1 CASME II微表情数据集介绍 　　2014年，中科院心理研究所建立了更进一步改进的自然诱发的微表情数据库CASMEII[8]。CASMEII有26个平均年龄为22岁左右的亚洲人，9类表情（happiness， surprise， disgust， fear， sadness， anger， repression， tense， negative）组成。用来录制的高速相机为200 fps。高速相机可以捕捉更细节的微表情。CASMEII是据我们所知目前最好的自然诱发的微表情数据库。 　　2 基于差分图像的积分投影 　　Mateos等人的开拓性工作[6-7]表明积分投影可以提取同一人脸图像的共同基本特征。积分投影将人脸的特征水平和垂直投影，可以用公式⑴和⑵表示： 　　其中It（x，y）表示时间为t时，图像位于（x，y）时的像素值，Ht（y）和Vt（x）表示水平和垂直积分投影。直接将积分投影应用到CASME II微表情数据集上效果如图1所示。 　　然而，由于微表情的变化是十分微小的，若直接采用上面的积分投影会有很多噪声，从图1（c）可以看出区分不是很明显。因此，我们采用改进的积分投影方法。可以用公式⑶和⑷表示： 　　我们将每个视频下的2到N帧微表情的图像减去第1帧，将得到的差分图像做积分投影，效果如图2所示。 　　从图2的（c）可以看出，采用基于差分图像的水平积分投影效果更好，去掉了不必要的噪声。