第三讲光流分析法.docVIP

第三讲 光流分析法 二维运动与视在运动 1． 而我们所能得到的是时变图像的某种采样点阵（或采样栅格）的图像序列，问题是： 2．可控与可观测问题—即真实二维位移场与速度是否可观测？ 3．二维运动——也称投影运动： 透视、 正交投影 三维运动可由物体像素的三维瞬时速度或三维位移来描述，但三维瞬时速度及三维位移正是我们要估计的，这是一个逆问题。而我们可观测到的是视在运动。 假定投影中心在原点 — 三维位移矢量 — 二维成像平面上的二维位移矢量 假定投影中心在O1点 由于投影作用，从P点出发， 终点在O1P/ 虚线上的三维位移矢 量均有相同的二维投影位移矢量。 所以说，投影的结果只是三维真实 运动的部分信息。 （3）设 由像素的运动 二维位移矢量函数 对应于点阵 ∧3 ，则有 （x ，t ） ∧3 （n ，k ） Z3 k表达了t‘- t 的时间离散 假定三维瞬时速度为，则 4．光流场与对应场 （1） 定义为对应矢量 光流矢量定义为某点 上的图像平面坐标的瞬时变化率， 为一个导数。 表征了时空变化，而且是连续的变化。 当时，则光流矢量与对应矢量等价。如果在某个点阵∧3可观测到这种变化，则就意义 对应场——像素的二维位移矢量场 光流场——像素的二维速度矢量场 也分别称为二维视在对应场与速度场。一般而言，对应矢量 ≠位移场 光流矢量≠速度场 可观测性例子 亮度均匀的话，则不产生光流， 不可观测。 光照变化——将防碍二维运动场的估计。 则有光流，但没有运动。 二维运动估计 正向估计： 逆向估计 数学上问题 光流的估计——若每一个△t间隔时，速度矢量不变。则光流估计与对应 估计等价；否则在有加速度的情况下，估计光流需要多 帧运算，至少三帧。 解的存在性——如遮挡与显露问题。 解的唯一性——产生孔径问题。位移各分量是否解耦合的。若独立，未 知量的个数是方程数的2倍。 解的连续性——产生噪声——不连续 数学描述有两种主要方法 参数模型——基于三维曲面的表达式 非参数模型 光流方程 块运动模型 像素递归法 贝叶斯（最大后验概率） 光流方程 设是连续时空亮度分布，若沿运动轨迹上的亮度保持不变，有 注意上式x1，x2随t变化，因此为一全导数。由上式可得 我们的估计就是要在帧之间保持（3.3—1）式成立，需要的先验知识较多。 二阶微分法 使空间图像梯度守恒。 块运动模型 定义像素块B上的光流方程误差为 使E最小为约束条件，为使E—Emin，应有 (3.3—5) 4．H-S法 它是一个搜索过程，使光流矢量逐步达到最小值。通过迭代计算使 (3.3—6) 梯度估计 将（3.3—2）式中的偏微分项用梯度估计出来 其它的算法，如自适应方法。 第四讲 基于块的分析法 块运动模型 图像的块模型 图像由块构成 块运动由平移和二维变形构成 平移块运动 模型 在纯平移情况下，设块B∈n，而n=（n1，n2），D=（d1，d2）T是位移矢量，且第k帧中图像块B为S（n1，n2，k），则有 注意上式中D为已被采样点阵抽样及量化后的值。最接近真正（d1，d2） 的整数。 重叠问题 图在下面： 可知块B在k与k+1帧之间可能重叠的，(a)在未重叠时，块B有单一的运动矢量。(b)在重叠时，可选择重叠区内平均运动矢量作为补偿。 (３) 应用 　　平移的块运动模型算法简单 　　(a) 每一块只需一个运动矢量 而光流法要附加的条件来表示运动场 　　(b) 算法规整简单，便于VLSI实现 (c) 不能用于变形运动 ３．变形的块运动 位射变换 设k帧中某像素的坐标为(x1, x2) ，而在k+l帧中的对应像素的坐标为(x’1, x’2)，则由一般的位射变换有 　　　　　　X’=AX+D (4.1—2) 其中X’=(x’1, x’2)T，X=(x1, x2)T，D=(d1, d2)T (4.1--2)可处理 的变换，而位射是正交投射。 （2）透视变换 非线性处理