第3章二维运动估计之一.pptVIP

第三章 二维运动估计;运动估计涉及: 图像平面运动(二维运动) 和空间物体运动(三维运动),运动分析与估计是数字视频处理的基本问题之一, 也是数字视频处理的难点和热点。 运动分析与估计广泛应用于计算机视觉、目标跟踪、工业监视和视频压缩等场合 不同应用场合对运动估计要求不同，有如下区分： 真实运动估计：要求估计获得的物体运动和实际运动基本一致。如计算机视觉、目标跟踪、工业监视。 非真实运动估计：在不被察觉的情况下允许有估计误差，从而最大限度降低信息量和传输带宽。如广播电视中的视频压缩。;几个基本概念;特征对应：运动物体上的特征与其在二维平面上的投影坐标的对应关系。见下图示：;运动估计的基本问题是估计运动前后相邻两帧图像上对应点的坐标pi(xi,yi)和pi’ (xi’,yi’)，i=1,2,3…。即像平面上对应的二维运动矢量di(xi,t1;t2)。 ;4.运动分析方法：主要有两种 ①.根据时间相邻的两幅或多幅图像求解物体的运动参数和三维结构信息。 ②图像序列的光流分析法。 运动信息包括：物体的一阶（位移）、二阶（速度）、三阶（加速度）等。 研究内容包括：运动目标检测与分割、运动参数估计等。 光流：指视觉观察到的图像中产生的光强变化。它一般对应物体的运动，但也有不一致的情况。 换句话说，在视频图像序列运动估计中，观察到的二维运动叫光流。 或定义：视频序列空间坐标关于时间的变化率称为光流，即(vx,vy)T=(dx/dt,dy/dt)T,其对应于像素的瞬时速度矢量。;纲要;3-D运动 - 2-D运动;2.1 2-D 运动 vs. 光流;光流方程;其中： 为图像空间梯度方向 上的单位矢量;;运动估计中的不确定问题;参考帧： ?1(x, t1) 当前帧: ?2(x, t2) 前向运动估计 /后向运动估计： t2 t1 / t2 t1 运动场： d(x, a), x?? 映射函数： w(x, a) = x + d(x, a) , x?? 运动参数矢量: a 存在问题：遮挡 ;;2.2 运动估计的一般方法;2.2.1 运动表示法（Q1）;2.2.2 运动估计准则1： （Q2） 基于位移帧差准则;2.2.2 运动估计准则2： 基于光流方程准则;运动估计是一个不适定（病态）问题 恒定亮度假定不总是成立 在平面纹理区域，不同运动估计可以满足恒定亮度假设或光流方程。 在严格数学意义上，我们不可能对不适定问题进行求解并得到答案，只能通过先验知识找到近似解。 正则化过程：即用一组与原不适定问题相近的适定问题去逼近原问题的解。 在基于像素和基于块运动估计中很重要。;2.2.2 运动估计准则3 平滑约束正则化;不同准则之间的关系;2.2.3 优化方法（对误差函数进行最小化）Q3;2.3 基于光流的运动估计;图像梯度的计算;2.3.1 多点邻域约束;多点邻域约束;2.3.2 运动平滑约束;运动平滑约束 由Horn和Schunck提出，对整个运动场或局部窗施加全局平滑约束。 目标误差函数为：;对 求关于 和 的偏微分，并令其为0，可得：;2.4 基于像素的运动估计;2.4 基于像素的运动估计;多点邻域约束 假设 的邻域 内所有像素具有相同的运动矢量，领域 上的误差函数为：;像素递归法 沿图像扫描方向逐个估计像素的运动矢量。 新像素的运动矢量由已估计像素的运动矢量进行预测 使用基于位移帧差函数最小化的方法更新运动矢量 像素的位移矢量无需编码 解码器端使用同样的预测更新机制 估计精度较低，预测误差较大;基于梯度下降的算法;多点邻域约束的像素递归法;将图像分成一个个规则的图像块，对每个块进行运动估计。 广泛应用于各种视频压缩编码标准中。 块运动模型 块平移模型 假定每个块只做平移运动 优点：实现简单 缺点：1、不能表征旋转、缩放和局部变形；2、物体边界和块边界通常不一致，导致块失真；3、同一块可能包含多个运动物体。 可变形块模型 可以对物体的旋转、缩放、变形建模 三种模型：投影运动、仿射运动、双线性运动 方法：相位相关法、块匹配法;块平移模型;2.5 基于块的运动估计（块匹配算法）;2.5 基于块的运动估计;穷尽块匹配算法 (EBMA);整数像素精度 EBMA的复杂度;6.4.2 分数精度 EBMA;真实运动未必是整数值 分数精度搜索可提高运动估计的精度 半像素精度 MPEG-1、 MPEG-2、H.263 1/4和1/8像素精度 MPEG-4、H.264;分数精度;;EBMA的优缺点;BMA快速算法;二维对数搜索法;三步搜索法;三步搜索法;新三步搜索法;菱形搜索法;小结;Homework