基于光流特征与序列比对实时行为识别.docVIP

基于光流特征与序列比对实时行为识别 　　摘 要：提出一种基于光流特征与序列比对的行为识别算法。首先利用分层光流提取视频序列中的运动信息；然后用光流场的方向直方图构造相应行为的模板库和索引序列库；最后用序列比对方法实现行为识别。实验结果表明，该算法可在线进行人的典型行为识别，对目标尺度变化、小角度倾斜和旋转具有一定程度的鲁棒性。目前以该算法为核心的行为识别实验系统对图像尺寸为320×240的序列平均处理速度达到10 fps。 　　关键词：行为识别；分层光流； 序列比对 　　中图分类号：TP242文献标志码：A 　　文章编号：1001―3695(2007)03―0194―03 　　人的行为分析和识别正逐渐成为计算机视觉领域中研究的热点[1，2]。由于人体运动是一个复杂的运动系统，具有很大的自由度和高度的非线性特点，以及关于行为、事件的定义有着不同的概念，如何选择充分有效的表达方式来描述场景中人的行为是非常困难的。?? 　　行为分类可以简单地被认为是时变数据的分类问题。J. K. Aggarwal和Sangho Park[3]综述了高层视觉处理中的四个主要方面：①人体建模；②理解人的行为所需的各种层次的细节元素；③人的行为识别方法；④用相关领域的知识来理解场景。并介绍了上述四个方面一些具有代表性的方法，最后总结了不同的应用背景应该采用不同的方法。Fatih Porikli和Tetsuji Haga[4]开发了一个事件检测框架，提取运动目标大量的动力学特征和形状特征。首先使用谱聚类来自动获得模型个数，然后训练相应HMM(Hidden Markov Model)模型，实现行为识别及异常行为检测。该算法的优点是自动聚类，但是生成模型并不具有实际的语义信息。Alexei A.Efros等人[5]提出了一种新的描述运动的时空模板。该算法先通过计算前景目标的光流场，然后将光流场映射到四个通道中，通过多次高斯滤波来泛化这四个通道以生成模板，最后用得到的时空模板来进行在线行为识别。以上算法的计算量均会随着类别数的增加而急剧增大，很难实现在线实时行为识别。?? 　　本文提出了一种基于光流特征和序列比对的行为识别算法。首先把输入的序列图像映射成模板库中对应的模板序号的序列，再通过序列比对的方式计算该序号序列与索引序列库中序列的相似度，从而实现行为分类。当分类的类别数增加时，算法的计算复杂度并不会随之显著增加。整个算法的框架如图1所示。?? 　　 　　1 运动特征的提取?? 　　行为识别中一个重要的问题就是该提取什么样的特征。序列图像中可选取的特征是多种多样的，如目标形状特征：大小、颜色、轮廓等；动力学特征：速度、方向、加速度等。由于动力学特征在行为识别中比目标的形状特征具有更好的鲁棒性，算法选择提取序列图像中的光流特征。光流法不需要预先获取图像背景，而且计算结果仅仅依靠连续帧的相对运动，不受复杂环境的影响，因而在基于对象的运动估计、运动检测和跟踪等领域都有广阔的应用前景。 　　1.1 输入视频的预处理?? 　　光流的计算具有较高的时间复杂度，且对噪声比较敏感，所以需要对输入图像进行预处理，以便减少光流计算量并提高光流计算的准确性。?? 　　首先对输入视频采用时间差分法来确定目标的运动区域。由于面积滤波器通过标记二值图像来滤波，可以去除随机噪声并很好地保留运动目标的轮廓，选用速度较快的四连通域的面积滤波器来对所得到的二值图像进行去噪，以确定出运动区域,作为以后光流计算的掩模,以减少计算量。最后用中值滤波对原图像进行去噪处理，以提高光流计算的准确性。 　　1.2 光流特征的计算?? 　　光流的基本计算式(1)的建立是以两帧图像亮度是恒定的为前提，用Taylor级数一阶展开；式(2)中的 一阶差分，使得光流计算受限于两帧图像间的运动不能大于一个像素。所以只有当相邻两帧间的运动不大于一个像素时，标准光流算法才比较可靠。 　　但是很多实际情况并不满足这个条件，这样计算得到的光流场精度比较低。引入金字塔式多分辨率结构由粗糙到精确来计算光流场[6]可以解决这个问题，它是目前光流计算发展的主要趋势。算法的框图如图2所示。 　　图像均是其前级图像低通滤波所得到的。G0表示输入原图像，作为Gaussian金字塔的底层；Gi表示第i层图像，其每一像素值均可用高斯窗口函数w对第i-1级矩阵进行加权平均而得到，依此类推，图像大小以1/4倍率减小。设图像元素的横纵坐标分别用x、y表示，则层间的运算可以表示为:?? 　　在计算得出金字塔图像后，就可以用多分辨结构的光流来计算光流场了。其计算流程如下[6]： 　　根据实际需要，本文选用了三层金字塔图像来计算相邻两帧间的光流场。当相邻两帧图像间的运动不超过五个像素时，算法能获得较好的精度。