基于多模态人脸与人耳融合的身份识别与认证①.pdfVIP

基于多模态人脸与人耳融合的身份识别与认证① ② 张广鹏 王蕴红 张兆翔 （北京航空航天大学计算机学院 北京 100191 ） 摘要：本文针对综合二维与三维多模态特征的正面人脸、侧面人脸与人耳的融合识别开展了相关研究，提出了 二维纹理图像和三维形状索引图像的尺度空间特征提取与匹配的方法，并对多模态人脸与人耳的多种融合策略 进行了探索性的研究。通过使用尺度空间局部特征，本方法不受尺度变化的影响，对噪声、数据缺失等具有较 高的鲁棒性。在公开的FRGC v2.0 数据库和UND Collection F 数据库上的实验结果表明，人脸与人耳多模态特 征间的融合大幅度提高了身份识别与认证的精度，并对表情变化具有很好的鲁棒性。 关键词：多模态融合、人脸识别、人耳识别、尺度空间 并将其用于正面人脸和人耳图像的融合分类，他们采 0 引言 用了与[1]相同的融合策略，在 USTB 人耳库和 ORL 人脸库上实现了98.7%的识别率。正面人脸与人耳的 融合要求每个样本至少有正面和侧面两幅图像，这个 多模态生物特征识别通过将人体的多种生理特 条件有时难以满足，而侧面人脸和人耳的融合只需要 征及行为特征结合起来，能够克服单一模态的缺点， 一副图像。Rahman 和 Seiji [5]提出采用Eigenface 和 实现高精度的身份识别与认证，因此已经成为生物特 Eigenear 方法提取侧面人脸和人耳图像的特征并进行 征识别领域的一个新的极具前景的发展方向。在多模 融合，在18 人的数据库上达到94%的识别率。Xu 等 态生物特征识别中人脸和人耳的融合由于其位置接 人 [6,7] 采用 Kernel Fisher Discriminant Analysis 近，非接触式采集等优点近几年来开始受到关注。研 [6] (KFDA) ，Kernel Canonical Correlation Analysis 究表明，人耳识别能够达到与人脸识别相近的识别率 [7] (KCCA) 等方法在特征层融合侧面人脸和人耳图像 [1] [2] ，并且人耳识别与人脸识别相关性较低 ，具有较 进行识别，在 38 人的小规模库上达到了 98%左右的 高的互补性，因此融合两种生物特征是提高身份识别 识别率。在三维人脸与三维人耳的融合方面， 精度的一种有效途径。 Woodard 等人[8]采用ICP 方法匹配三维人脸、人耳和 现有的人脸与人耳融合的方法从使用数据的角 手指，并进行匹配分数层融合，在 85 人的数据库上 度可以分为二维人脸与二维人耳的融合，三维人脸与 达到了97%的识别率。Theoharis 等人[2]通过在三维人 三维人耳的融合，从人脸图像的姿态角度可以分为正 脸和人耳模型对应的几何图像（geometry image ）上