3d haar-like特征.docxVIP

3.3D HAAR-LIKE FEATURES (3D Haar-like 特征)Viola 等人算法的成功在于它在两幅连续的的图像中使用了运动的信息。但是当人移动缓慢的情况下，两幅图像之间的这种运动模式是不明显的，因此从两帧差中提取的特征并不是那么的distinctive。为了在多帧之中捕获长期（long-term）的运动模式，并同时记录人的外貌特征，我们从一系列连续的帧中提取Haar-like特征来代替从连续的两帧中提取特征。虽然我们可以从多帧中获得更多的运动信息，但我们并不能用影像的全部帧来检测一个人。这会花费大量的时间，并且不适用于检测任务。再者，目标可能不会总是停留在整个影像的一个位置。因此，我们将影像划分为小的时空体，该时空体只包含一个影像序列里的若干个帧，并且看起来像一个立体的窗口。这个时空体类似于Viola 等人算法中的2D搜索窗口。一个时空体可以看作是一个独立的整体，可以从中提取各种3D Haar特征。我们的目标是给出一判断标准来判断一个时空体中是否有一个人。接下里将详细描述3D Haar-like特征。3.1 3D haar特征的详细描述这里详细的描述3D Haar特征。在一个时空体中提取3D Haar特征，其可以看作是立体的滤波器。具体地说，我们采用7种类型的一级3D Haar特征。如图1对于每一种立体滤波器，特征值是黑白区域像素强度和（the pixel intensity sum）的绝对差值。在（a）(b)(c)中的立体滤波器表示的是静态特征，类似于2D Haar-like特征。它们只比较了同一区域在时间坐标上的总和。这类特征用来描述行人的外观信息。在(d）(e)(f)(g)中的立体滤波器表示的是动态特征。它们比较了不同区域在时间空间上的总和。以（d）为例，它计算了立体的对角对在时间维度上的差值。由于特征值是在多幅帧之间计算的，它可以更好地描述场景中的运动信息，并捕捉更多的行人运动模式。3.2 积分体（ Integral Volume）积分图是一种快速计算2D Haar-like 特征的方法。这形成了一个实时的人脸检测系统和人体检测系统。为了高效的计算3D Haar特征，我们也采用积分图的思想。唯一不同的是我们在三维空间里计算积分图，并且考虑的是积分体。给出坐标系的原点，位置（x,y,t）处积分体的值是指位置坐标小于当前坐标的所有像素的总和。更具体地：其中，是积分值，是原始值。通过积分体，任何立方体的体积（sum）都可以通过其8个坐标值计算出来（7次加/减运算），如图2中的标注所示。由于双箱立体滤波器（图1中的（a）（b）（g））涉及相邻的箱，计算它们需要12个坐标值。图1中的（c）（d）（e）需要18个坐标值来计算。图1中的（f）需要27个坐标值来计算。由于加/减运算的速度很快，因此特征提取的速度也很快。3.3 特征表示（Feature Representation）为了充分地表示时空体，我们使用7种类型的立方滤波器稠密遍历积分体（scan the volume densely）。通常来说，遍历过程立方滤波器的重合体积为1/3或者1/2。给定一个大小为（H,W,T）的时空体，H代表高度，W代表宽度，T代表帧数，定义立体滤波器的大小为（h,w,t），立体滤波器的扫描步长为（hStep,wStep,tStep）。那么一个时空体中的特征个数N为：N个特征值形成时空体的一个N元向量表示。对于检测任务，我们使用高斯核函数SVM作为分类器。在实验评估部分，我们将分析立体窗口参数和帧数是怎样影响检测效果的。4.实验评估在这一部分，首先讨论数据初始化，并概述实验设置。最后给出实验结果。我们在CAVIAR数据集上训练和测试我们的检测器，该数据集包括从一个购物中心的走廊里获取的52个场景。根据我们的目标，我们从原始影像中分割出包含人的区域，并且增加2像素的边缘来保存轮廓信息。然后把分割后的图像重新调整到60*30，并把连续的10幅分割后的图像组成了一个时空体（如图3中描述的那样）。从图3的例子中可以看出，这类时空体有明显的外观特征和一定的运动信息。负样本也以同样的方法获得；唯一不同的是负样本是在不含有行人的影像中随机采样来获得的。用这种方式我们收集了1000个正样本和1000个负样本的时空体。我们进行了三个实验来探讨3D Haar特征的有效性。首先，我们评估可变窗口尺寸的影响。然后，我们分析立体滤波器帧数对检测效果的影响。最后，我们在实际应用中评价3D Haar特征。给定一个大小为（h,w,t）的立体滤波器，我们讨论三个参数是怎样影响检测效果的，并证实我们对3D Haar特征的有效性的假设。首先，我们评估立体滤波器的窗口大小（h,w）的影响。在这部分实验中，我们使用5000个正样本和3000个负样本作为训练集，并