基于光流人体行为识别.docVIP

基于光流人体行为识别 　　摘要：人体行为识别已成为计算机视觉中的一个研究热点，并且光流法已被应用到各种应用场合。针对教室内学生的站立和坐下的视频，提出了基于光流的人体行为识别算法。首先获取当前帧的活动点集，从而得到活动区域。根据保存帧的信息统计向上光流和向下光流，结合当前人的状态，判断出人的动作。最后进行人的状态的更新。在整个视频处理过程中，该算法重复以上过程，维持了站立人的状态跟踪。实验结果表明，该算法能够识别出站立和坐下的动作，验证了该算法的有效性和鲁棒性。 　　关键词： 光流； 人体行为识别； 跟踪； 活动区域； 视频处理 　　中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2013）07-1610-03 　　人体行为识别正成为计算机视觉领域内研究的热点之一，由于它研究的对象是视频或者图像序列，而这些是通过快速捕捉和存储二维图像形成的，并没??目标之间相对位置的信息，所以给研究者带来了很大困难。同一个目标在不同的成像环境下会有不同的成像效果，比如光照、视角等变化，另外，目标之间相互遮挡，或者有复杂的重复背景，都会对目标的提取造成困难。即使目标已经提取出来，由于人的差异性，每个人执行同一个动作也会有差异，这为行为识别也带来一定的困难。 　　在本文中，以教室内的学生站立或坐下的视频为研究对象，通过计算光流，实现对学生的站立和坐下2种动作进行识别。 　　1 相关工作 　　很多研究者已经开始人体行为识别[1-2]方面的研究，Rapantzikos[3]用密集显著特征点识别人的行为。Dai[4]等人利用上下文对动作进行分组交互分析。赵海勇等[5]利用背景差分法和阴影消除技术从图像中提取完整的人体轮廓，提出了一种以运动人体的轮廓为特征，基于模板匹配的人体行为识别方法. 李宁等[6]提出了基于从左到右三状态半连接HMM的人体行为识别方法。钱?等[7]在概率框架下提出一种基于抽象隐马尔可夫模型的人运动行为识别方法。韩磊等[8]提出一种基于时空单词的两人交互行为识别方法。 　　光流法[9]也得到了广泛的应用，Brox等[10]处理光流的大偏移问题。Bleyer等[11]讨论了颜色对光流的影响。Lei等人[12]利用离散优化对光流进行由粗糙到精细的估计。 　　2 人的行为识别 　　本文中人的状态有2种：坐和立。人的动作有三种：坐下、起立、维持不变。 　　整个算法主要分为4个过程：1）获取活动点集；2）获取活动区域；3）获取人的动作；4）更新人的状态。 　　2.1 获取活动点集 　　利用计算出来的光流，对当前帧中光流变化比较大的光流所在地位置保存下来。为了达到实时效果，对整幅图像进行了采样，这样就形成了一个小的图片，光流大的位置的亮度为255，其它的位置为0。 　　2.2 获取活动区域 　　在活动点集的基础上，利用形态学中的膨胀和腐蚀操作算子进行处理。考虑到在获取活动点集中有采样处理，这里膨胀的半径要根据采样频率设置。首先对活动点集进行膨胀操作，然后进行腐蚀。再进行二值图的轮廓查找，将轮廓比较小的舍弃，保留面积比较大的轮廓。根据大轮廓上点的坐标，计算出该轮廓的上下左右边界，从而得到活动区域。因为人的动作范围有可能比较大，这里把活动区域再往外扩充一半的距离。 　　2.3 获取人的动作 　　对每个活动区域处理，首先查询该区域中人的状态，然后利用保存好的前N帧图像的信息，统计该区域内的光流变化，得到该序列中向上光流和向下光流的矢量和。 　　因为人的一些习惯问题，在没有站立或坐下动作时，可能会有左右晃动，侧身，抬头，往前趴，往后靠等，都会引起光流的变化。这里分为有动作的处理和无动作的处理。 　　1）有动作的处理 　　在标准的站立和坐下情况下，根据向上光流和向下光流就可以判断出人的动作。但在实验过程中，由于每个人的站立和坐下的形态是不一样的，而且由于摄像头变形的原因，需要做更多的处理。对于标准站立的人，只根据向上光流就可以判断人的行为。同样，对于标准坐下的人，只根据向下光流就可以判断人的行为。但有的人站立时会先弯腰，然后再站起来，这样会先产生向下光流，然后才是向上光流，同样，有点人坐下时会先弯腰坐下，然后往后靠，这样会先产生向下光流，然后是向上光流。所以本文将站立分为以下2种：1）笔直站立；2）弯曲站立，同样，将坐下分为2种：1）笔直坐下；2）弯曲坐下。 　　2）无动作的处理 　　人的左右晃动或者侧身，引起的向上或向下光流很少，大部分是横向的光流，所以在实验过程中可以利用垂直方向的光流排除掉这类行为。对于抬头的行为来说，没有站立或做下引起的光流变化大，所以可以用一个门限来排除。对于往前趴并且随后直起身子的行为，其引起的光流变化如同弯曲站立引起的变化，但总的矢量和近似于零，而弯曲站立的矢