基于视频人脸识别的研究进展.docVIP

基于视频的人脸识别研究进展* 严 严1), 2) 章毓晋1), 2) 1) (清华大学信息科学与技术国家实验室 北京 100084) 2) (清华大学电子工程系 北京 100084) 摘 要 近年来基于视频的人脸识别已成为人脸识别领域最为活跃的研究之一. 如何充分利用视频中人脸的时间和空间信息克服视频中人脸分辨率低, 尺度变化范围大, 光照、姿态变化剧烈以及时常发生遮挡等困难是研究的重点. 该文对基于视频的人脸识别研究进行了详细的介绍和讨论,分析了各方法典型的优缺点, 并介绍了常用的视频人脸数据库和实验结果, 最后展望了基于视频人脸识别未来的发展方向. 关键词 模式识别; 人脸识别; 基于视频的人脸识别中图法分类号 TP391 1 引 言 人脸识别具有巨大的理论意义和应用价值. 人脸识别的研究对于图象处理、模式识别、计算机视觉、计算机图形学等领域的发展具有巨大的推动作用, 同时在生物特征认证、视频监控、安全等各个领域有着广泛的应用. 经过多年研究, 人脸识别技术取得了长足的进步和发展. 随着视频监控、信息安全、访问控制等应用领域的发展需求, 基于视频的人脸识别已成为人脸识别领域最为活跃的研究之一[1-4]. 如何充分利用视频中人脸的时间和空间信息克服视频中人脸分辨率低, 尺度变化范围大, 光照、姿态变化剧烈以及时常发生遮挡等困难是研究的重点. 国内外众多的大学和研究机构, 如美国的MIT[5]、CMU[6, 7]、UIUC[8, 9]、Maryland大学[10-12]、英国的剑桥大学[1315]、日本的Toshiba公司[1-18]和国内的中科院自动化所[1-21]都对基于视频的人脸识别进行了广泛而深入的研究.目前现有的国内外综述文献主要针对基于静止图像的人脸识别研究[1-3], 因此有必要对现阶段基于视频的人脸识别研究进行分析和总结, 期望能够更好地指导未来的研究工作. 2 人脸识别概述 一个自动的基于视频的人脸识别系统包括了人脸检测模块、人脸跟踪模块、人脸特征提取模块和人脸识别模块. 关于人脸检测、人脸跟踪和人脸特征提取的研究进展可以参考综述文献[1-3]. 本文重点介绍基于视频的人脸识别研究进展. 人脸识别问题可以定义成: 输入(查询)场景中的静止图像或者视频, 使用人脸数据库识别或验证场景中的一个人或者多个人[1, 2]. 基于静止图像的人脸识别通常是指输入(查询)一幅静止的图像, 使用人脸数据库进行识别或验证图像中的人脸. 而基于视频的人脸识别是指输入(查询)一段视频, 使用人脸数据库进行识别或验证视频中的人脸. 如不考虑视频的时间连续信息, 问题也可以变成采用多幅图像(时间上不一定连续)作为输入(查询)进行识别或验证. 因此按照上面的分析, 根据输入(查询)和人脸数据库的不同, 人脸识别可以分成四种情况: 表1 输入(查询)和数据库不同情况下的人脸识别 输入(查询) 数据库 图像(多幅图像) 视频 图像 图像－图像(多幅图像) 图像－视频 视频 视频－图像(多幅图像) 视频－视频 其中“图像－图像(多幅图像)”人脸识别就是传统的基于静止图像的人脸识别[1-3]. 而“图像－视频”人脸识别是指利用人脸图像作为输入采用视频人脸数据库进行识别或验证. 通常的应用领域是基于人脸的视频信息检索. 本文重点介绍的基于视频的人脸识别主要是指后面两种情况, 即“视频－图像(多幅图像)”人脸识别和“视频－视频”人脸识别. “视频－图像(多幅图像)”人脸识别是指输入(查询)一段人脸视频, 利用静止图像人脸数据库进行识别或验证. “视频－视频”人脸识别是指输入和数据库都利用视频进行人脸识别或验证. 相对于前面三种情况, “视频－视频”人脸识别可以利用的信息最多. 视频中可以利用的信息包括[4]: 多幅同一个人的人脸图像, 视频中人脸在时间和空间上的连续性, 利用视频生成三维(3D)人脸模型等. 需要强调的是本文这样分类的目的是为了能够对整个人脸识别领域的研究现状有一个宏观上的认识,区分不同情况下的人脸识别. 事实上不同情况下人脸识别采用的技术可以是相同的,如对所有人脸视频序列的处理是按照某种规则(如大小姿态清晰度等)提取一张人脸图像, 则上面的情况都可以采用基于静止图像的人脸识别技术. 本文首先对现阶段基于视频的人脸识别研究现状进行了详细的分析和讨论, 接着介绍了常用的视频人脸数据库和实验结果, 最后展望了未来的发展方向. 本文假设已经得到图像或者视频中需识别人脸的位置.人脸视频人脸3 基于视频的人脸识别 把基于视频的人脸识别分成“视频－图像(多幅图像)”人脸识别和“视频－视频”人脸识别两种情况分别综述. 3.1 “视频－图像(多幅图像)”人脸识别 “视频－图像(多幅图像)”人脸识别是指采