基于3D结构张量模型的稠密光流实现.docVIP

基于3D结构张量模型的稠密光流实现 　　摘要：像素的3D结构张量能够很好的表达视频帧序列之间的局部运动模型，因此，稠密光流的估计可以使用3D结构张量。根据光流的亮度恒定假设，光流估计问题可以转化为计算结构张量的特征向量，而不是复杂的线性系统计算。在一个有着多运动模型的场景中，有多个全局3D结构张量模型，每个模型对应为一个高斯分布，模型是在线更新的。为了提高效果，需要进行由粗到细的迭代过程。实验显示3D结构张量能够良好的表达运动模型。 　　关键词： 光流； 张量； 视频处理 　　中图分类号：TP37 文献标识码：A 文章编号：1009-3044（2014）06-1321-03 　　Implementation of Dense Flow Based on the 3D Structure Tensor Model 　　REN Ying 　　（School of Computer Science a nd Engineering， Wuhan Institute of Technology， Wuhan 430074，China） 　　Abstract： Since the 3D structure tensor at each pixel can interpret the local between frames well，this chapter uses the 3D structure tensor to estimate dense flow.According to the assumptions of brightness constancy，the optical flow estimation can be converted to the calculation the eigenvector of the structure tensor，rather than the complex calculation of linear system.In scenes with multiple global motion patterns，there are multiple global 3D structure tensor models，each corresponding to a Gaussian distribution.The models are updated online.Iterative coarse-to-fine refinement is needed to improve the performance. 　　Key words：optical flow； tensor； video processing 　　对光流的研究主要包括稠密光流和稀疏光流，该文研究的是稠密光流算法。现在大多数的光流算法保留Horn and Schunck（HS）[1]的原始假设。很长一段时间，研究者们面临的挑战是提高光流的效率和准确性，该文也旨在克服两大难题。 　　很多稠密光流估计算法基于Horn的最初的想法，逐点计算光流矢量值。在文献[2]中，T.Box基于光流恒定假设提出一种由粗到细的改进策略[3]。在文献[4]中，A.Bruhn提出一种将局部方法（Lucas–Kanade光流算法）和全局方法（Horn and Schunck的光流算法）。在[5]中，H.Liu提出通过运动模型方程的仿射变换来证明计算特征向量可以用于光流估计。 　　逐点计算光流矢量是耗时而乏味的。有些早期的研究者提出使用3D结构张量作为运动模型。在文献[6]中，Pless提出一种将运动模型划分到多个光流域的在线实时算法，该算法可以高效的表现各局部运动模型的全局模式。很多研究者对传统光流算法进行明显的改进。对问题改进的很好的方式是汲取各前人算法的优点。 　　1 光流估计 　　结构张量已经广泛的应用于图像处理领域，例如光流估计和图像分割。通过计算帧之间的时空梯度得到结构张量。 　　1.1 全局混合运动模型 　　我们使用[?I=（?Ix，?Iy，?It）T]来表达时空梯度，分别对应x，y，t方向的梯度。像素的结构张量[∑]定义如下： 　　[∑] = [?I?IT] （1） 　　运动通常发生在当[?It]0的位置。为了降低噪声的影响，我们使用高斯平滑对图像进行降噪。 　　[∑]表现了一个高斯分布[Ν]（0，[∑]）[1]。类似之前通常的做法[2]，，我们可以使用马氏距离来检测异常测量，根据设定好的阈值Tb[2]来比较。 　　dist=[?IT∑][?I] （2） 　　如果新的测量值和高斯分布之间的马氏距离大于Tb，我们更新对应的高斯分布。 　　[i，t=（1-β）i，t-1+β?I?IT]