第三章二维运动估计之一.ppt

第三章 二维运动估计 几个基本概念 1.时间序列图像：随时间而变化的一系列图像称为时间序列图像或运动图像。 2.运动物体特征：指物体形状或表面特征，如尖锐点、边缘线等。 可以通过运动物体的特征来观察分析物体的运动。 3.运动估计的基本问题 运动估计研究的是视频序列图像中投影坐标在像平面上的变化，获取运动参数，但是投影会造成信息丢失（不可逆），导致估计误差。 特征对应：运动物体上的特征与其在二维平面上的投影坐标的对应关系。见下图示： 4.运动分析方法：主要有两种 ①.根据时间相邻的两幅或多幅图像求解物体的运动参数和三维结构信息。 ②图像序列的光流分析法。 运动信息包括：物体的一阶（位移）、二阶（速度）、三阶（加速度）等。 研究内容包括：运动目标检测与分割、运动参数估计等。 光流：指视觉观察到的图像中产生的光强变化。它一般对应物体的运动，但也有不一致的情况。 换句话说，在视频图像序列运动估计中，观察到的二维运动叫光流。 或定义：视频序列空间坐标关于时间的变化率称为光流，即(vx,vy)T=(dx/dt,dy/dt)T,其对应于像素的瞬时速度矢量。 纲要 2-D 运动和光流 光流方程解决运动估计的一般方法 运动表示 运动场参数化 最优化准则的公式化 寻找最优化参数 运动估计算法 基于光流的运动估计 基于像素的运动估计 基于块的运动估计（EBMA） 3-D运动 - 2-D运动 2.1 2-D 运动 vs. 光流 2-D 运动: 3-D 运动的投影, 取决于3D 物体运动和投影操作。 光流: 观测的或表现的二维运动。 不仅可以由物体运动引起，还可以由摄像机运动或照明条件变化引起。注：不等同于真实的二维运动。 光流方程 如果照明条件未知，那么所能得到的最精确估计就是光流。 恒定亮度假设 ? 光流方程 图6.3 运动估计中的孔径（用一个恒定亮度假设的小窗口）问题: 在x1 处估计运动使用孔径1，但是不可能确定运动是向上的还是垂直于边缘的，因为在这个孔径中只有一个空间梯度方向。可以准确地估计x2的运动，因为在孔径2中，图像有两个不同方向的梯度。 运动估计中的不确定问题 孔径问题：光流方程只确定了法向的投影vn，在切线的投影是不确定的，任何vt 的值都满足光流方程。 一个方程有两未知数——要施加附加条件：最通常的约束是流矢量在空间平滑变化。使我们可以利用x周围一个小的邻域亮度变化去估计x处的运动。 运动估计仅在有亮度变化区域可靠。 2.2 运动估计的一般方法 参考帧： ?1(x, t1) 当前帧: ?2(x, t2) 前向运动估计 /后向运动估计： t2 t1 / t2 t1 运动场： d(x, a), x?? 映射函数： w(x, a) = x + d(x, a) , x?? 运动参数矢量: a 存在问题：遮挡 2.2 运动估计的一般方法 两种主要的方法: 基于特征（常用在物体跟踪上，从2D构建出3D） 基于亮度（基于恒定亮度假设或光流方程，常用在运动补偿预测，视频编码和插值方面） - 重点 三个关键问题： Q1：怎样将运动场参数化 Q2：用什么样的准则来估计这些参数 Q3：怎样搜索这些最优参数 2.2.1 运动表示法（Q1） 整体（全局）: 整体运动由若干整体参数表示。 基于块： 把图像域固定分成许多小的方块，每个块用一个简单的模型表征。 2.2.2 运动估计准则1： （Q2） 基于位移帧差准则 最常用的运动估计准则是参考帧?1与当前帧?2之间每个对应点对之间亮度值之差的和。 回忆?1中的x移动到?2 中的w(x; a) ，则目标函数写为： 2.2.2 运动估计准则2： 基于光流方程准则 光流方程 2.2.2 运动估计准则3 平滑约束正则化 运动估计是一个不适定（病态）问题 恒定亮度假定不总是成立 在平面纹理区域，不同运动估计可以满足恒定亮度假设或光流方程。 在严格数学意义上，我们不可能对不适定问题进行求解并得到答案，只能通过先验知识找到近似解。 正则化过程：即用一组与原不适定问题相近的适定问题去逼近原问题的解。 在基于像素和基于块运动估计中很重要。 2.2.2 运动估计准则3 平滑约束正则化 常用的正则化方法是增加一个表示平滑变化的代价项来测量邻近像素MV的差： 总的最小化准则写成： 不同准则之间的关系 基于光流方程准则OF 只有当运动比较小的时候效果较好。 当p=2时最小值函数是MV的二次函数。如果运动参数关于MV线性，则函数具有唯一的最小值，容易求解。 当运动比较大，可以对基于光流方程准则OF进行迭代求解，以满足基于位移帧差（DFD）准则。 2.2.3 优化方法（对误差函数进行最小化）Q3 穷尽搜索 通常用在DFD准则中当p=1(