光流场计算的区域相关匹配算法研究.docx

光流场计算的区域相关匹配算法研究 0 光流场算法仿真 光流场包含观察对象的运动信息和相关结构信息，广泛应用于机器人视觉、独立导航和基于运动补偿的视频编码领域。光流场的计算最初是由Horn和Schunck于1981年提出的。计算中引入了光流本身的平滑性约束条件,通常也称为基于一阶梯度的方法。近年来,出现了很多新的算法和改进的算法。如文献中提出了基于相关的方法;文献中提出了基于时间-空间能量的方法;文献中提出了基于相位的方法等。 上述算法虽然可以得到较好的计算结果,但是计算复杂性高而且计算量很大,因此不适合硬件实现。而在许多应用场合中,都需要光流场的实时计算。寻找一种简单实用的光流场算法,研究算法的体系结构以及数据流结构是该领域另一个重要的研究课题。文献设计实现了实时的运动分析芯片,其中的运动估计技术采用基于光流场的方法。在计算光流场时,采用了传统的基于一阶梯度的方法。处理芯片只完成部分中间参数的计算,微处理器读取其计算结果,并计算出最终的光流值。该设计虽然使得硬件的结构得到简化,但是整个系统中必须借助微处理器的计算。本文在对光流场算法加以改进的基础上,研究了改进算法的体系结构及数据流结构,并进行了仿真实现。实验证明,该方法简单实用,并且可以达到实时处理。 1 基于相关匹配的光流算法 设图像上的点(x,y)在k-1时刻和k时刻的辐照度分别为:{E(xi,yi,tk-1),i,j=0,1,…,N-1}和{E(xi,yi,tk),i,j=0,1,…,N-1}。由文献得到光流场计算的基本等式: Exu+Eyv+Et=0(1)Exu+Eyv+Et=0(1) 其中Ex,Ey,Et分别是点(xi,yj)在x方向、y方向和t方向的偏导数。u,v分别是点(xi,yj)在Δt=tk-tk-1时间间隔内x方向和y方向的运动速度。上式给出了光流计算的一个基本约束,Horn和Schunck根据同一物体引起的光流场本身尽可能平滑这一假设,引入了对光流的平滑性约束。平滑性约束项为极小化: min(∫∫(u2x+u2y+v2x+v2y)dxdy)(2)min(∫∫(ux2+uy2+vx2+vy2)dxdy)(2) 由基本等式(1),显然要求极小化 min(∫∫(Exu+Eyv+Et)2dxdy)(3)min(∫∫(Exu+Eyv+Et)2dxdy)(3) 综合式(2)与式(3),求得的光流应满足式(4),即 min(∫∫(u2x+u2y+v2x+v2y+λ(Exu+Eyv+Et)2)dxdy)(4)min(∫∫(ux2+uy2+vx2+vy2+λ(Exu+Eyv+Et)2)dxdy)(4) 其中λ反映对数据及约束的信度。当数据本身含有较多噪声时,则原始数据的可信度较低,更多地依赖对光滑性的约束,λ可以取较小的值;反之,λ可以取较大的值。 在基于相关匹配的光流算法中,假设两帧连续图像之间像素的运动在-N≤u,v≤N内,其中N是u和v可能的最大位移,(u,v)是光流矢量。则光流是由下面的相关匹配方程决定的。 SSDt,t+1(x,y;u,v)=∑j=?nn∑i=?nn[Et(x+i,y+j)?Et+1(x+u+i,y+v+j)]2(5)SSDt,t+1(x,y;u,v)=∑j=-nn∑i=-nn[Et(x+i,y+j)-Et+1(x+u+i,y+v+j)]2(5) 其中-N≤u,v≤N。 为了提高光流计算的精度,通常引入协方差矩阵的计算,并且使用迭代的方法。当搜索区域增大时,计算量急剧增加。 考虑到硬件实现的实时性要求,文献对基于相关匹配的光流算法进行了改进。改进后的算法基本思想如下:得到连续两帧图像以后,首先找出光流最可能存在的区域,然后对该区域进行相关匹配,从而得到正确的光流矢量。计算步骤可以用如下的表达式表示 M(x,y;u,v)=∑i=?nn∑j=?nn(Ex1(x+i,y+j)?Ex2(x+u+i,y+v+j))+∑i=?nn∑j=?nn(Ey1(x+i,y+j)?Ey2(x+u+i,y+v+j))(6)Μ(x,y;u,v)=∑i=-nn∑j=-nn(Ex1(x+i,y+j)-Ex2(x+u+i,y+v+j))+∑i=-nn∑j=-nn(Ey1(x+i,y+j)-Ey2(x+u+i,y+v+j))(6) 式中 (u,v)∈???????????(u,v)|uEx+vEy+Et≥0(u?1)Ex+vEy+Et0ORuEx+vEy+Et0(u?1)Ex+vEy+Et≥0ORuEx+vEy+Et0Ex+(v?1)Ey+Et0ORuEx+vEy+Et0Ex+(v?1)Ey+Et≥0???????????(u,v)∈{(u,v)|uEx+vEy+Et≥0(u-1)Ex+vEy+Et0ΟRuEx+vEy+Et0(u-1)Ex+vEy+Et≥0ΟRuEx+vEy+E