新·第7讲-运动图像的编码(一)-精.pptVIP

运动图像的编码（一） 运动图像的特点 运动图像编码中的几项技术 运动矢量估计：块匹配法，像素递归法 帧间预测编码 帧间内插 运动图像编码系统 典型的编码器框图 速率控制的反馈 编码速率的范围 运动图像的特点 运动图像本质上是连续的时间内连续的场景变化，我们眼睛看到的实际事物就满足这个要求。 由于人眼的视觉特点，我们可以利用离散的时间点上一幅幅图像来表示，而让人产生同样的视觉效果。这一幅幅图像就是帧，就是时间离散化的结果。 在一帧图像中，我们可以从空间上分割为一个个像素，用单个像素来替代原来的若干模拟点，这就是空间离散化的结果。 我们对于运动图像，就利用时间离散化和空间离散化产生的相关性，来进行压缩编码 运动图像的冗余 空间冗余：和静止图像的冗余情况一致 时间冗余：人眼的视觉特点，25fps就可以认为连续。 帧间预测：利用相邻帧的时间相关性 运动估值：对运动的物体，帧间的相关性降低，利用运动估值，可以减小预测的残差。 运动图像编码技术 我们已经讲过了静止图像编码，运动图像既然是一幅幅静止图像在时间上的先后排列，因此可以简单的将每一幅静止图像编码组合起来，就形成了一个运动图像的编码。 这样的码流还是很大，举例来说，一幅300*200的图像，用JPEG压缩后要20K Bytes。如果是30帧/秒的视频，则会产生600KB/s=4.8Mb/s的码流。这在网络传输中还是无法接收的带宽要求。 为此，我们必须利用运动图像在时间轴上的相关性，利用预测编码的方法，而只传输余量信号，就可以减小信号的动态范围，降低码率。 进行准确预测的基础就是运动矢量估计，具体的编码方法就是帧间预测编码 运动矢量估计 块匹配方法(1) 按一般想法，应将运动物体和静止背景分离，然后再对运动物理进行运动估计。如何分离？ 实际上，将图像分块，并认为每块内像素具有同样的运动矢量。在k帧中的一个块，在k-1帧中寻找最相似的子块，称为匹配块，进而得到运动矢量D 块匹配方法(2) 块匹配方法(3) NCCF计算复杂，常用下面两个计算简单的值。 帧间子块亮度的均方差值MSE 帧间子块亮度的绝对值的均值MAD 匹配块的搜索 全搜索：在整个搜索区域逐个像素移动，每次都要计算MAD。总的移动次数： 快速搜索算法 二维对数法 三步法 共轭方向法 正交搜索法 基于同一假设：当偏离最小误差方向时，判决函数单调上升。即不存在局部最小值。 三步法 每步对中心和8个临域点计算，而且临域点和中心点的距离，随着搜索步骤的增加而减小。 右图搜索3步，最终的匹配点是(i+2,j+6) 共轭方向法 首先延水平方向搜索，计算中心点与左右两点的判决值，找到最小点，并移动，直到中心点就是最小点。再延垂直方向进行搜索，直至找到最佳匹配点。 快速搜索算法比较 像素递归法(1) 先将图像中的运动部分与静止部分分开，然后在运动区域内每个像素上以迭代的方式计算位移量 像素递归法(2) 两种方法的比较 块匹配法 不需要分离运动与静止区域 一个块有一个运动矢量 像素递归法 需要分离运动与静止区域 逐个像素，或者逐个独立运动的模块进行递归 运动矢量估计更准确 对于一般的运动图像，由于运动物体无规律，采用块匹配法更合适；而对于那种大面积背景不变，而只是单个或个别物体运动的运动图像，则更适合用像素递归法。 半像素搜索 为了提高运动矢量的精度，引入半像素搜索。在原先搜索到最小MAD的位置(i,j)上，再通过线形内插得到周围8个半像素点。再在这9个点中寻找最终的匹配点。 具有运动补偿的帧间预测 前向预测(1) 前向预测：用k-1帧来预测k帧。 不直接传送当前帧像素，而是传送同一位置的当前帧像素与前一帧像素的差值。 对运动物体，这个差值很大，预测没有起作用。 如果已知运动物体的方向和速度，可从k-1帧的位置推出k帧中运动物体的位置，而背景而以k-1帧的背景代替。这种方法称为具有运动补偿的帧间预测。 前向预测(2) 基本步骤 将图像分割为运动物理和静止背景，估计各运动物体的运动矢量。 计算运动补偿后的预测值 传送预测误差，运动矢量以及对运动物体和静止背景的分割的信息。 事实上，将图像分割为静止区和不同的运动区域，是很困难的。一般来说，将图像分块，每块都作为一个物体估算运动矢量，接收端按上面的方法可以恢复该块数据。 前向预测(3) 问题：若同一块中有两个不同的运动物体，则运动矢量必然不准确，导致预测误差增大。 k-1与k帧中各子块的相互关系 后向预测与双向预测 如果用k帧预测k-1帧的图像，称为后向预测 为提高压缩比，往往需要用前后两帧来预测中间帧，称为双向预测。利用两个运动矢量和预测值，进一步降低预测误差。 问题：会引入延时。 具有运动补偿的帧间内插 帧间内插(1) 在发送端每隔一段时间，丢掉一帧或几帧图像，在收端利用帧间相关性将丢掉的帧