《多媒体技术》讲稿第4章-2-2003讲义.ppt

第四章---第二部分 —运动图象编码 4.2动态图象、图形处理 4.2.1概述 利用人眼的视觉惰性作用：对亮度信号保持感觉1/20～1/10秒 序列图象、图形(动画)(25～30帧/S)形成运动感觉 特点： (1)时间连续、适于表示“过程” (2)逐帧显示、属于离散型时基媒体 (3)数据量大，需要压缩编码 (4)相关性强，这是动态的基础，也是压缩的条件 (5)实时性强 帧间编码 帧间编码技术处理的对象是序列图像（也称为运动图像）； ASIC的迅速发展，已有可能把几帧图像存储起来作实时处理，利用帧间的时间相关性进一步消除图像信号的冗余度，提高压缩比。 帧间编码的技术基础是预测技术 。 4.2.2帧间预测编码 三维预测：利用本行前几个取样值，前几行相邻取样值，还有上一帧或前几帧取样值等，电视信号相邻帧间的相关性即时间相关性去掉冗余度，达到压缩码率的目的。 4.2.2.1帧间差值的统计特性 Frame Difference是指活动图象序列的某一固定象素位置(m , n)上，当前帧的图象亮度值Xτ (m ,n)与上一帧的亮度值Xτ-1(m ,n)之差，即 统计资料表明：①对于变化较为缓慢的256级灰度的黑白图象序列帧间差值超过阈值3的象素大约不到4%；②对于变化较为剧烈的256级亮度值的彩色电视图象序列，帧间差值超过阈值6的象素数平均只有7.5%，而色度信号平均只有7.5%。这些是帧间压缩编码的依据。 4.2.2.2条件帧间修补法 Conditional Frame Replenishment CFR称条件帧间修补法，对第τ帧的当前象素Xτ (m ,n)的预测值定义为 其中X′τ-1(m n)为第τ-1帧中对应象素Xτ-1(m ,n)的复原值， 进而定义当前象素Xτ(m ,n)的帧间差值 规定一个阈值TH，若满足 则认为当前象素Xτ(m ,n)位于图象的背景区或相对静止部分，隔几帧才传输一次。 反之若 则认为当前象素Xτ(m ,n)位于图象的运动物体区，需用全码传送。 进一步的改进是此时传输FDτ(m ,n)，而不是传输Xτ(m ,n)本身，在接收端则通过 获得Xτ(m ,n)的复原值。 帧间预测编码—条件补充法 若帧间对应像素的亮度差超过阈值，则把这些像素存入缓存中，并以恒定的传输速度传送； 阈值以下的像素不传送，在接收端用上一帧相应像素值来代替。 只传送图像中亮度差超过阈值的像素，且传送的只是帧间差值，可以得到较好的压缩比。 上述预测法(CFR)可获得平均1bit/象素，压缩比为8的结果。 帧间预测编码—条件次取样 条件补充法还可以和内插法相结合应用，称为条件次取样 ； 在时间轴采用次取样，对于未取样的当前场的某一点，可以用隔场的四个邻点的亮度均值作为该点亮度的预测值。 条件次取样（续一） 图中两场像素取样点错开半个像素，称为梅花状取样。在时间轴采用次取样。 条件次取样（续二） 在时间轴采用次取样。预测值为S^o=(Sa＋Sb＋Sc＋Sd)/4; 如果像素的亮度实际值与预测值之间的差值小于阈值，则此像素信息就不传输； 如果这个差值超过阈值，则补充传送。 4.2.2.3运动补偿预测 目前，从H.261到MPEG-1，MPEG-2都无一例外地采用“简单帧间预测运动补偿”(或者“简单帧间预测+有条件地切换为帧内编码”)的技术框架。 Motion Compensation运行补偿简写为MC 运动补偿技术 它是Mpeg中使用的主要技术之一。对提高编码压缩比很有好处。尤其对于运动部分只占整个画面较小的会议电视和可视电话，此技术后，压缩比可以提高很多。 用这一技术计算图像中运动部分位移的两个分量可使预测效果大大提高。 运动补偿方法是跟踪画面内的运动情况对其加以补偿之后再进行帧间预测。 这项技术的关键是运动向量的计算。 运动补偿预测技术通常由下面几方面组成： ①把图象分割为静止和运动两部分，并假设运动物体仅作平移。 ②估计物体的位移值。 ③用位移估值(即运动矢量)进行运动补偿预测。 ④预测信息编码 运动估值示意图 图象分割(Image Segmentation)是运动补偿预测的基础，分割的办法： ①实际分割成不同运动的物体，但较困难。 ②把图象分为矩形子块，将子块分为动与不动两种，估计出运动子块的位移。 ③对每个象素的位移都进行递归估计。 4.2.3运动估值方法 4.2.3.1块匹配法 Block Matching Algorithm简称BMA，它假设块内各象素只作相等的平移，H.261和MPEG都采用了BMA。 首先确定M*N块与搜索区的几何关系如下图，用MXN子块在搜索区内寻求最优匹配来得到运动矢量估值(dx ,dy)。 判决准则： ①归一化互相关函数(NCCF) ②均方误差M