光流法原理PB.pptVIP

2016.3.8 理工楼401 1..光流法 光流是空间运动物体在观测成像面上的象素运动的瞬时速度。 光流场是指图像中所有像素点构成的一种二维(2D)瞬时速度场。 1981年，Horn Schunck创造性地将二维速度场与亮度变化相结合，引入基本光流约束方程及整体平滑约束条件，建立了光流计算的基本模型。 光流法的前提假设： (1)对应像素点在相邻帧之间的灰度值不变； (2)相邻帧之间物体的运动比较“微小”； (3)保持空间一致性；即同一子图像的像素点具有相同的运动。 1）光流基本约束方程 假设在时刻t时，图像上一点m(x,y)的灰度值为 。在经过dt 后，该点m运动到新的位置m’(x+dx,y+dy),该点灰度值记为 ，根据图像灰度一致性假设，即,图像中该点运动后到达位置的灰度值等于运动前位置的灰度值，则有： 将式（1）等式右边进行泰勒公式展开，即： (1) (2) 其中 代表二阶无穷小项。由于 ，忽略 ，可以得到： 设u,v分别为该点光流沿X轴和Y轴方向的速度矢量，且有 令 分别表示图像中像素点的灰度沿X,Y,T三个方向的偏 导数。则式（3）可以写成： (3) （4） 光流基本约束方程 可以由图像数据求得 一个方程两个未知数 从光流基本约束方程可以看出，光流有两个变量（u,v），而基本等式只有一个方程，无法求出唯一解，这就是光流计算基本等式的孔径问题。为了求解出唯一解u和v，必须附加另外的约束条件。根据约束条件的不同，就生成了不同的光流估计算法。 Horn-Schunck算法 Horn-Schunck算法提出了光流的平滑性约束。即：图像的相邻点具有相似的速度并且亮度图像的速度场几乎到处都是平滑变化,也就是在给定领域内 应该尽可能趋近于零，这就是Horn算法提出的对光流的整体平滑约束。用公式表示为： 在进行光流法运算前，有两个假设：图像相邻像素点的灰度值保持不变和光流尽可能平滑，换句话说，也就是图像具有连续性、平滑性的性质。在实际应用环境中，总会有误差存在，这就需要使误差最小，首先要使平滑项尽可能趋向于零，即： 另一方面，显然根据光流基本公式，要使图像中的数据项极小化，即： 将式（5）与（6）合并可以得到H-S算法的光流计算公式： (5) (6) 式中是?平滑项系数因子，反映了对图像数据及平滑项的可信度，当图像数据本身含有较大的噪声时，则原始图像数据的可信度较低，需要更多的依赖平滑项约束条件，这时?应该选取较大的值，反之，当图像数据的可信度较高时，这时?应该取较小的值。 使用变分法求解上式，得 （7） 式（7）可变成： 上式求解得： 光流计算方法仅适用于图像微小运动的问题,在位移大于一个像素的 情况下,为了找到全局最优的位移量,可以釆用多尺度的方法。 3. 多尺度方法--------金字塔光流法 整体思路： 金字塔算法总体流程： 计算金字塔最上层图像 的光流，然后作为估计次上层 的光流的初始值，再计算次上层图像光流的精确值；再将次上层计算的光流结果作为 层的光流初始值，在计算其精确值带入下一层，直至最底层原始图像