数字视频处理 第2章 二维运动估计.pptVIP

第2章 二维运动估计 2．1概述 根据摄象机和目标物体的运动状态,运动可分为：摄像机不动物体不动，摄像机不动物体动，摄像机动物体不动和摄像机动物体动4种。 2.1.1几个基本概念 1．时间序列图像 运动估计主要是研究空间中的物体运动情况。为了观察物体的运动，人们将摄像机放置在三维空间的某一位置上，对运动物体进行观测，所拍摄到一系列图像称为时间序列图像或运动图像。 2．运动物体特征 任何一个运动物体都有其自身的特征，例如一些尖锐点、边缘直线、边缘曲线等，它们分别称为特征点、特征直线、特征曲线等。物体在空间中运动时，只要是在观察者的可视范围内，物体上的特征就均可以在视频图像上反映出来。 3．运动估计的基本问题 由摄像机模型知道，摄像机的投影过程是不可逆的，投影过程中将不可避免地丢失一些有用信息，例如物体的深度信息等，因此估计物体的真实运动和结构是比较困难的。 4．运动分析方法 根据时间相邻的两幅或多幅图像求解物体的运动参数和三维结构信息； 图像序列的光流分析方法。 2.1.2二维运动估计 二维运动估计存在几个问题： 遮挡问题，即图像中的某些像素可能不存在对应点。 孔径问题，也称为多义性问题。 噪声问题，在生成视频图像的过程中，噪声是不可避免的。 2.1.3 二维运动模型及估计方法 为了有效地进行运动估计，需要对真实运动施加一些约束条件，即对运动建模。我们可以将二维运动模型粗略地分为参数模型和非参数模型。 2．2 基于光流的运动估计 2.2.1 光流方程 利用有限差分求微分的公式 2.2.2 多点邻域约束 估计像素xi的光流矢量时，假设xi邻域B(xi)内的所有像素具有相同的光流矢量，光流方程在邻域B(xi)上的误差定义为 求解光流矢量 2.2.3 运动平滑约束 目标误差函数为 迭代更新公式 2.2.4 有向平滑约束 有向平滑约束可表示为 2．3 基于像素的运动估计 2.3.1 位移帧差 定义像素x从t1时刻到t1+dt时刻的位移帧差为： 2.3.2 多点邻域约束 假设xi邻域B(xi)内的所有像素具有相同的运动矢量，则可通过最小化邻域B(xi)上的位移帧差函数求解运动矢量di。 邻域B(xi)上的误差函数可表示为 误差函数关于运动矢量的梯度为 2.3.3 像素递归法 1．基本概念 像素递归法是指沿图像扫描方向逐个估计像素的运动矢量。新像素的运动矢量首先由已估计的像素进行预测，然后基于位移帧差函数最小化的方法来更新运动矢量。可表示为 2．基于梯度下降的算法 像素递归方程为 3．多点邻域约束 2.3.4基于贝叶斯准则的方法 贝叶斯准则是基于运动估计问题的概率公式，视频图像函数和运动场均视为随机场，由概率密度函数建模，分别称为观察模型和运动场模型。 给定两帧视频图像 和 ，运动场估计可以看成一个最大后验概率（MAP）问题，即 运动场最大后验概率估计可简写为 1、似然模型 由于存在噪声，像素沿运动轨迹的亮度通常会发生改变。若假定噪声为高斯分布，且均值为零，方差为 ，那么条件概率密度函数 可建模为 2、先验模型 运动场的先验概率密度函数可定义为 2．4 基于块的运动估计 2.4.1 概述 在基于块的运动估计中，先将视频图像分成一个个规则的图像块，然后对每个图像块估计运动参数。 1．块平移模型 块平移模型假定每个块只做二维平移运动。给定两帧视频图像 和 ，对于 中的一个块 ，可由 中一个同样大小的块重建，即 图2-10块平移模型 2．可变形块运动模型 可变形块运动模型可以对物体的旋转、缩放、变形等建模。块的运动参数不再是简单的一个平移参数，而是一些空间变换参数，常用的可变形块运动模型有投影运动、仿射运动、双线性运动等。 投影运动： 仿射运动： 双线性运动： 2.4.2 相位相关法 相位相关法广泛用于图像配准，即两幅图像只发生全局平移的情况。假设两帧图像 和 之间只是纯平移关系，有 互相关函数为 归一化互功率谱 为 相位相关法的优点 由于相位相关函数被归一化，因此只引起幅度变化的照明变化等因素不会影响傅立叶相位 当块内有多个物体时，相位相关函数表现出多个峰值，每个峰值的位置对应一个运动物体的平移运动，可以为块内每个物体或像素估计一个运动矢量。 2.4.3 块匹配法 1、基本原理 2、匹配函数 归一化互相关函数（NCF） 均方误差（MSE） 绝对值误差（MAD） 匹配像素数（MPC