视频中多线索的人脸特征检测与跟踪清华大学.PDF

视频中多线索的人脸特征检测与跟踪1 庄莉 徐光祐 艾海舟 梁路宏 彭振云 （清华大学计算机科学与技术系，智能技术与系统国家重点实验室，北京 100084 ） 摘要：针对 目前的人脸特征检测与跟踪算法存在的对环境适应能力差，缺乏自我检错能力的缺点， 本文提出了一种多线索综合的新方法。多线索中包括：基于深度信息的人脸区域粗分割、基于多关 联模板匹配的人脸检测、利用多尺度 Sobel 卷积的特征提取、基于“特征眼”的人眼验证以及基于 多视图的校验方法。多种线索互相补充、自我检错和纠错，对背景、光照及姿态变化具有较强的适 应能力。实验表明该方法是有效的，鲁棒的。 关键词：人脸识别，人脸特征检测与跟踪，人脸检测，多尺度分析 1. 引言 人脸特征检测是提高人脸识别性能的关键问题。这是因为：人脸识别中需要解决的基本问题之 一是如何处理由于光照和姿态因素造成的影响。实际环境中，同一个人在不同光照和姿态下人脸图 象在表观上的差别，往往比不同人在几乎相同的光照和姿态下在表观上的差别还要大。同一个人在 不同环境下采集到的数据的离散性，成为提高人脸识别正确率的重要障碍。J.Daugman[1]和 Maxim A.Grudin[2]在分析和比较了现今流行的几乎所有人脸识别方法后指出：现有人脸识别算法还都不足 以做到对光照、姿态的鲁棒性。 现有的人脸识别方法大致可分成基于特征描述的和基于模板的二类方法[3]。无论那一种方法都 需要依靠人脸特征的检测技术。基于特征描述的方法对光照和姿态有较强的适应能力，它需要先检 测特征，然后进行描述。而基于模板的方法为了对采集的原始数据进行规范化和校正处理，从而减 轻光照和姿态的影响，也需要准确地检测人脸特征。因而，特征检测已成为提高人脸识别性能的一 个亟待解决的核心问题之一。正因为如此，许多人脸识别研究者[2][4][5][6]都把解决人脸特征检测 的鲁棒性、准确性，作为提高人脸识别性能的一个重要途径进行研究。 此外，为了推进人脸识别研究走向实用化，我们认为应该对基于视频输入的人脸识别研究给予 更多重视。因为从现场采集的人脸图象视频中可以提取丰富的多姿态人脸样本，通过统计学习的方 法建立识别算法，有望突破现有的在固定人脸姿态下识别方法的局限性。其中一个亟待解决的问题 是人脸样本的提取和规范化问题，其核心就是视频中人脸特征的准确检测技术，它是对光照、姿态 规范化的前提，直接关系到后续的人脸识别统计学习方法的有效性。因此，本文重点研究视频中的 人脸特征的准确检测技术。 现有的人脸特征检测算法容易受到光照、姿态的影响，同时也难以适应具有复杂背景的环境。 其原因主要是算法缺乏多重保护功能，也没有自我检错和纠错的能力。而要具备上述能力的基本条 件是尽量利用与人脸特征有关的各种线索，并把它们有机地组织起来，使它们互相补充、校验、纠 正。我们认为，人脸检测与人脸特征的检测是一个问题的两个密切相关的方面：如能可靠地检测人 脸区域，根据人脸的模型就有可能指导人脸特征的检测；而人脸特征的检测又可用于校验人脸区域 检测的正确性，从而提高人脸区域检测的可靠性。所以，可靠的人脸特征的检测需要把上述二者结 合起来，并且把人脸检测作为人脸特征检测的第一步，用整体人脸位置来指导局部特征检测。此外， 对于无表情变化的人脸来说，在不同姿态下的人脸及相应的人脸特征可看成是一个刚体的运动，应 该满足刚体运动的约束条件。这也为人脸特征的检测提供了重要的线索。基于上述思考，我们提出 了视频中基于多线索的人脸特征检测和跟踪算法。为了鲁棒地检测人脸区域，我们采用基于立体视 觉的深度信息，同时结合基于多关联模板匹配的人脸检测算法。为了验证人脸特征检测的正确性， 1受高技术项目 863-306-ZT03-01-1 资助。 1 我们利用了基于 “特征眼”的验证方法和基于多视图的人脸特征校验方法，使我们的算法不但具有 检错的能力，而且在一定的情况下，还有纠错的能力。实验表明，本文提出的人脸特征检测方法对 复杂背景和光照具有较强的适应能力。我们的算法在 189 段不同光照下采集的视频（50 帧/段）上 进行了测试，取得了满意的结果。 本文结构如下：首先是引言，第 2 节是人脸特征检测及人脸识别系统框架，第 3 节详细叙述人 脸特征检测方法，第 4 节叙述特征跟踪策略，第