CV07 二维运动分析.pptVIP

* MPEG运动图像压缩方法与前面介绍算法有类似之处。MPEG的子目标不是计算运动场，而是利用预测编码压缩图像序列，也就是从一些图像帧中预测出另外一些图像帧。重要的不在于运动向量正确表达了运动目标，而在于能够从一幅图像的邻域高质量预测出另一幅图像的邻域。 序列中包括4帧图像：F1、F2、F3、F4.F1是独立帧（I），可以用JPEG单帧静态图像编码法编码。对F4，根据F1用运动向量附加差分块的方法进行确定。也就是说F4中的b1块在F1中的对应位置，可以通过运动向量来确定。中间帧B1，B2可以用运动向量插值法来确定，把F1中b4和F4中b5进行平均，可以重构b2.b3可以通过b6和b7平均得到。 要注意尽管F2，F3在F4帧前面，但他们的内容也要先解码F4后才能对他们进行解码。 * 先看个例子，这个是日本三菱公司开发的一款游戏，他们就是运用了运动分析方法来实现游戏的控制操作。用手臂的运动表示驱动跨栏运动员就行运动，运动越快那模拟的运动员跑的就越快，当举起双手时，相当于要做跳栏的动作。后面的图是相当于运动分析输出的一些结果。左上角是一帧图像，下面的是对应的光流场，挨着的是水平光流情况，下面是垂直光流情况，就是通过对这些运动场的分析来完成游戏驱动的。这里面涉及到一个关键问题就是光流场，那什么是光流场呢？ * 当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜（即图像平面），好像一种光的“流”，故称之为光流（optical flow）。光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。光流可以看作带有灰度的像素点在图像平面运动产生的瞬时速度场。 * * * 上面的Ex,Ey,Et的计算都很简单，用离散的差分代替导数就可以了。光流法的主要任务就是通过求解光流约束方程求出u,v。但是由于只有一个方程，所以这是个病态问题。 * 霍恩·山克方法 * 前面讨论了识别t1时刻图像上的兴趣点，并查找该点在下一帧即t2时刻图像上对应点的方法。如果点周围的亮度邻域具有独立的纹理，那么可以很容易对该点进行跟踪。另外，领域知识也能使图像序列中的目标跟踪变得容易，比如跟踪网球比赛中的网球，或则跟踪人脸等等。 比如说考虑装有许多网球的盒子掉在地上，要根据视频序列计算每个球的轨迹，或者在人群中，衣着是反映人特征的唯一标识，但一些人在图像中具有十分相似的外观，那对一个人的跟踪就变得十分麻烦。 前三个假设对于三维空间的二维投影是成立的，平稳的三维运动产生光滑的二维运动轨迹。第四个假设在投影情况下不再成立，因为一个物体遮挡另一个物体，在只有一台摄像机时就会出问题。 * 实验表明，根据运动物体的图像序列，人类能够识别出物体并能分析他们的运动情况。比如，让光线照射人体的各个部分，当人体静止时，观察者不能确定眼前的目标就是一个人，但当人体运动时，观察者就能够很容易的识别到眼前的目标是一个人。所以可以根据分析相应的运动轨迹实现对物体运动的分析。我们要介绍的方法就是如何来找到这个运动轨迹，并能保持它的平滑性。 我们可以借助上面4个假设，计算图像序列中通过观测点的最光滑的一组路径。然后通过这个路径对运动进行相应的分析。 首先我们要在每帧图像中标注一些跟踪的运动点，就像我们上节课搜索得到的那些兴趣点。由于我们跟踪多个物体，不仅要计算单条路径的平滑度，还要计算几条路径的总平滑度，让他们相对而言有一个最有值。所以算法要先计算单条路径的平滑度，然后计算几天路径的总平滑度，在寻优的过程中采用贪婪交互算法完成，在每个时刻对路径进行最优的赋值匹配， * 如果要是直线轨迹的话，所有空间点的差分向量应该是一样的，那上述公式结果就是1，这就是最优的点光滑值了。 * 有了单条光滑度的计算后，我们假设有m个独立的点是从n帧图像中每一帧中抽取出来的，在第一帧上的点标记为i=1, 2, …, m。我们要从这m个标记点出发，来跟踪对应标记点在各帧中的运动情况，那要求的相当于是m条路径的光滑度，所以要计算一个总光滑度。将总光滑度定义为所以m条路径上所有内部点的光滑度之和。 要解决的问题就是建立具有最大光滑度值的m条轨迹。这个时候就相当于把比较优的m条路径找出来了。完成了相应的跟踪。 * 那要找到这个最大总光滑值，要涉及到的一个算法就是贪婪交互算法。在介绍算法前，我们通过一个实例来了解下算法的基本流程。看图中相当于我们要跟踪的物体有两个。标识1，2，3，4，5 的是相当于时刻t，就是第几帧图像。假设我们在第一帧图像中检测到两个目标，分别用圆圈1，和方块1标识。那我们的目标就是要找他们对应的相对平滑的运动轨迹。 然后我们把标注点的对应轨迹扩展到下一相邻帧，可能找到的最近点分别是O1可能知道方块2，方块1