光流运动估计.docVIP

基于变分光流法的运动估计的技术研究 杨博雄1 1.武汉大学测绘遥感信息工程国家重点实验室，湖北省武汉市，430079；） 摘 要：对当前运动估计的各种方法进行了系统的分类，重点介绍并归纳了基于光流模型的各种运动估计算法；深入探讨了运动估计性能最优的变分光流方法面临的各种问题，以及相应的应对措施；最后展望了光流法的应用及研究方向。 人类获取信息的约80%来自于视觉，图像作为视觉信息表达的主要形式成为人类认识世界最基本的载体。由于地球是连续运动的，因此如何准确的从序列图像中获取真实的运动信息是我们认识世界的关键。图像的运动估计技术自从图像诞生以来就成为研究的基础与热点，通过对序列图像的分析，获取图像之间的全局运动量或局部物体运动量，由于当前的图像或视频主要是二维的，因此运动估计一般可以理解成二维矢量运动场的计算近年来，随着图像技术的飞速发展，各种运动估计方法层出不穷。尤其是变分光流法由于可以获得准确且具有较高时空分辨率的致密光流场成为运动估计技术中的佼佼者。 光流算法 光流是空间运动物体在观测成像面上的象素运动的瞬时速度，光流场是指图像灰度模式的表面运动，是3D空间物体的运动在2D图像平面上的投影。 3.1 光流的概念及发展 1950年生物学家Gibson首先提出了光流的概念；1976年Poggio和Reiehardt在研究昆虫视觉系统的过程中提出了计算图像中像素运动的算法，被认为是最原始的光流方法；1981年，Horn Schunck创造性地将二维速度场与亮度变化相结合，引入基本光流约束方程及整体平滑约束条件，建立了光流计算的基本模型。同年，Lucas和Kanade (简称LK)提出：假设在一个较小的空间邻域上像素的亮度值保持恒定，通过最小二乘法最优化算法可以较快的计算出了运动图像的局部光流场。从此光流算法得到广泛研究和应用，各种改进算法不断涌现，旨在提高光流估计的精确度、鲁棒性和实时性。 3.2 光流法的分类 ⑴微分法：对光流约束方程通过Euler-Lagrange变换对得到PDE方程进行数值求解。主要包括范数模型，如：Horn Schunck, Nagel；范数模型，如：Aubert, Zach；⑵局部领域法：通过局部像素的邻域约束或张量结构来解决孔径问题，这类方法大多要通过最小二乘计算来完成，如：Lucas Kanade, Karlholm[；⑶区域匹配法，又称块匹配法：通过局部图像区域的邻域快速搜索找到最小误差或最大相关的匹配位置，来计算光流，如：Anadan⑷能量法，也称为频率法：通过速度调谐滤波器如Gabor滤波器来计算光流场，如：Heeger；⑸相位法，通过带通滤波器的相位输出来计算光流，可以得到比较鲁棒性的光流场，如：Fleet[30]；⑹贝叶斯法，通过建立估计运动矢量与真实矢量的偏差之间的概率模型来计算光流，如：Adelson[32] 4 微分光流算法的难点及应对措施 正如Bruhn[36]所指出的微分法是光流法中最精确的方法，同时实现也比较简单，因此受到了最广泛的研究与应用。但是由于微分光流法几乎都发源于Horn-Schunck(HS)所提出两点假设模型：亮度一致性与平滑性，其应用也面存在着诸多的问题：⑴微分光流方程的数值求解具有不适定性，因此首先要解决不适定性问题（寻找优秀的平滑约束），再者加入的平滑性约束又会导致模糊图像边缘，产生过度平滑；⑵微分法要求图像是必须是可微的，而在低纹理区域，图像梯度很小甚至为零，导致运动信息的丢失；其次，有时需要对图像进行时空预平滑以避免混叠效应，如何寻找精确的预平滑方法也是一大难点；⑶由于HS光流模型采用二次罚函数，及整体平滑性约束，而实际中图像一般存在突变形式的不连续、各自独立的多运动物体等情况，因此不能有效的处理间断及分段平滑；⑷由于光流模型中亮度一致性约束假设像素的亮度值在一段很小的空间距离、时间间隔内保持恒定，而实际图像存在遮挡、边缘等因素造成灰度不恒定，以及传感器噪声、光照变化等也干扰了亮度恒定，因此无法有效处理遮挡、大位移、光照变化等问题，抗噪性也比较差；⑸由于传统的微分法求解需要迭代数千次才能达到较理想的结果，因此无法实时计算，很大程度上制约了其实际应用。 经过研究者近30年的探索，光流算法在应对上述问题方面有了很大改进： 4.1 “病态”问题及应对措施 在变分光流计算模型中存在两点病态问题[20]：①仅由一个基于亮度恒定的约束方程无法求解两个速度分量；②图像中即使出现的小的干扰，会导致时空导数小的误差，进而引起速度估计产生较大的偏差。研究者根据Tikhonov[37]的思想，通过引入和改善光滑项，使原病态问题变为可解问题，同时得到稠密的光流场。如：Nagel[38]， Nagel[39]，Terzopoul