Kinect人跟踪Kinect Face Tracking SDK.docVIP

Kinect人脸跟踪Kinect Face Tracking SDK 相关资料免积分下载 目录： 1.前言 2.人脸跟踪概念 (1)软件硬件配置 (2)face tracking参数 (3)具体技术 (4)函数和结构 (5)人脸跟踪简易流程 3.更多人脸跟踪细节介绍 (1)线程问题 (2)人脸特征点 (3)人脸旋转 4.程序配置与说明 5.参考资源 6.程序源代码 ----------------------------------------------------------------------------------- 1.前言 自上篇Kinect SDK 1.5 Face Tracking文章出现后(2012-5-27)，许多人阅读到了(CSDN，博客园，百度文库)，相关代码也被上百次下载(百度文库、csdn)。 之所以Kinect中的Face Tracking没有得到很多的关注，我想主要原因还是这个方法必须使用Kinect硬件(真不便宜啊，普通摄像头几十块ok了)，只适合开发Kinect室内应用。其次这个Face Tracking也是很耗CPU的，一般的双核电脑一旦运行经常会占用90%多的CPU。题外话，微软有许多强大的算法，比如人脸跟踪(基于普通彩色摄像头)，但是他们只给了Windows Phone下的API，却不给出PC下的。我也去天津参加过Kinect的会议，遇到一些微软的产品，确实做得很强大很稳健，人脸检测用改进的特征进行Adaboost，之后用AAM进行面部特征点跟踪，十分稳健。去年参加了不少面试，国内的很多公司都在做人脸识别，但真正有实力的只有大公司弄的好。但如果说你想靠这个Kinect的人脸识别混饭吃，有点困难，除非你研究AAM人脸跟踪算法再去研究人脸识别、表情识别、三维建模等算法才会有饭吃。 鉴于之前没有对Kinect的Face Tracking进行详细描述和探讨，直接暴力的给出相关代码，有必要给出更详细的文章和更好的代码。 ------------------------------------------------------------------------------------ 2.人脸跟踪概念 首先现在大部分开发都针对Kinect for windows(目前1900RMB，还是有点贵的)了，但这个face tracking SDK在xbox版的Kinect依旧可以运行，自然精度会不好。Kinect for windows的深度数据是640*480的，而xbox的是320*240。而彩色的RGB摄像头也清晰不少，这点官方没有具体介绍，但实际效果好很多。如果要做研究，自然使用贵很多的Kinect for windows了(这样也导致了个人一般不会去玩这个传感器)，不过对于学校、公司这点钱不多。下面默认使用Kinect for windows，但代码稍加修改在xbox的kinect上也能运作。 -------------------------------------------------- (1)软件硬件配置 Kinect for Windows有如下要求： 采用下列操作系统的一种： Windows 7 嵌入式Windows 标准7 嵌入式Windows POSReady 7 Windows 8 硬件要求 32位(x86)或64位(x64) 处理器 双核2.66-GHz 或更快的处理器(建议使用i7) 专用USB 2.0总线 2 GB内存 从Kinect SDK 1.5开始的Kinect for windows开发工具包中含有人脸追踪模块，当前最新的是SDK1.6。在近几个星期里，将会有新的SDK会更新。新的SDK将会带来简单的动作识别(手握拳和张开)和Kinect Fusion三维实时建模。 -------------------------------------------------- (2)face tracking参数 依赖于你PC的CPU能力，人脸跟踪引擎使用4~8ms对一帧图像进行人脸跟踪，仅仅只依赖于CPU(没有使用GPU)。 将会影响跟踪准确率的因素： A.光照:光线应该充足，没有太多阴影或者太强的侧光。也就是光照要均匀，并且足够。 B.距离:距离Kinect的距离，距离体感越近则跟踪效果越好，当小于1.5m时，跟踪的效果是最好的，因为越近深度数据越精确。当然也不能太近了，如果小于0.5m，深度数据都无法获取，或者人脸遮住摄像头了，也无法跟踪。 C.遮挡:戴厚眼镜或者Lincoln那样的胡子，人脸跟踪会有问题，这点还是需要改善的方面。 使用了Active Apperance Model作为二维特征跟踪器，然后我们把计算模型扩展到我们的Kin