第二章二维运动估计.pptVIP

三步搜索法 search 9+8+8=25 points 新三步搜索法 search cases： 1、9+8=17points 2、9+8+8+8=33points 3、9+8+3=20points 小位移矢量的出现概率较大 二维对数搜索法 search at most 5+4+2+3+2+8= 24 points 菱形排列的四个点以及零位移点 交叉搜索法 search at most 5+4+4+4= 17 points 二维对数法： 使用（+）型的4个点 交叉搜索法： 使用（X）型的4个点 菱形搜索法 性能最优异的算法之一，被MPEG-4标准采纳 1st step 2nd step 3rd step 4th step 5th step 各步骤之间的相关性较大 由移动模版而新增加的检测点不多 9个检测点的大模版 5个检测点的小模版 可变形块匹配方法 块平移模型的缺陷之一：实际的物体运动不是简单的平移运动 可变形块可解决此缺陷，可对物体的旋转、缩放、变形等建模 对节点进行运动估计，块内像素的运动矢量使用节点运动矢量内插得到 当前帧 参考帧 可变形块匹配方法 基于节点的可变形块模型 假设块的控制节点（如块的顶点）可自由运动 对每个节点求取位移矢量 块内像素的位移矢量由节点位移矢量内插得到 优点： 比多项式表示的可变形运动模型更加直观 估计块节点的运动比估计多项式参数容易 可变形块匹配方法 内插公式 K=1，退化为平移模型 K=3，对应于仿射运动模型 K=4，对应于双线性运动模型 第k个节点对像素x的贡献，称内插核 可变形块匹配方法 内插核需满足的条件 保证运动的连续性 保证节点处的运动只与其自身有关 可变形块匹配方法 内插核函数设计 使用与节点结构相关的形状函数 标准三角形 标准四边形 可变形块匹配方法 节点的运动估计 匹配函数 最小化匹配函数方法 全搜索法：需较大的计算量 基于梯度的迭代法（Newton-Raphson） 其中： 提纲 概述 基于光流的运动估计 基于像素的运动估计 基于块的运动估计 基于网格的运动估计 基于区域的运动估计 全局运动估计 多分辨率运动估计 基于网格的运动估计 (a) 基于块匹配的运动估计 (b) 基于网格的运动估计 (c) 基于网格的运动跟踪 基于网格的运动估计 (a) 使用三角形网格 (b) 使用四边形网格 当前帧被分割为不重叠的多边形单元（网格），运动估计为网格的每个节点在参考帧找到对应点（即得到其运动矢量），其余点的位移矢量由节点的运动矢量插值得到。 基于光流的运动估计 光流 观察动态物体时在视网膜上产生连续的光强变化，如同光的 “流动”。 在视频序列运动估计中，观察到的二维运动。 视频序列空间坐标关于时间的变化率 --- 像素的瞬时速度矢量。 基于光流的运动估计 光流方程 亮度守恒假设：运动物体点的亮度（或色度）在其运动轨迹上保持不变，变化的是物体的位置。 或 其中 为空间梯度向量， 为光流场。 其中： 为图像空间梯度方向 上的单位矢量 基于光流的运动估计 光流v的分解 将光流v分解为两个正交的分量： 为切线方向上的单位矢量 只能确定图像空间梯度方向上的分量（法向流） 即：孔径问题 图像梯度的计算 光流方程的要求：亮度函数可微 数字视频：有限差分法近似 m,n m+1,n m,n+1 m+1,n+1 基于光流的运动估计 光流方程 一个方程，两个未知数 多点邻域约束 假设 的邻域 内所有像素具有相同的光流矢量，光流方程在领域 上的误差定义为： 其中 为分配给 的权重。令 可得： 基于光流的运动估计 多点邻域约束 则光流矢量的估计值为： 基于光流的运动估计 运动场的平滑性 基于光流的运动估计 运动平滑约束 由Horn和Schunck提出，对整个运动场或局部窗施加全局平滑约束。 目标误差函数为： 其中 为运动估计的定义域，可以是整幅图像或一个局部窗。 为光流空间梯度的平方函数，它反映了光流矢量随像素变化的快慢程度 为光流方程误差的平方函数 对 求关于 和 的偏微分，并令其为0，可得： 基于光流的运动估计 运动平滑约束 最小化 ? 施加光流约束 最小化 ? 施加运动平滑约束 表示对像素邻域（不包括当前像素）求平均。 表示迭代次数，初始光流矢量 可设为零。 基于光流的