第二单元：视频编解码简介.pptVIP

视频编解码简介 By shaolin Index 图像采集 帧内、帧间编码 DCT、DPCM 量化 锯齿状扫描和Length encode 哈夫曼编码 编解码流程 图像采集 图像采集的两种方式 RGB 紅 (R)、綠 (G)、藍 (B) 显示到显示器上需要用RGB格式 YUV Y表示亮度，U和V表示色差空间。U和V是构成彩色的两个彩色分量，Y和U、V是相互独立的。 YUV表示的优点是黑白电视可接收彩色电视信号；可以利用YUV的独立性和人眼的特性来降低数字图像所需要的存贮容量。 两者之间的转换 Y = 77/256R + 150/256G + 29/256B U = -44/256R - 87/256G + 131/256B + 128 V = 131/256R - 110/256G - 21/256B + 128 YUV格式 使用相同的分辨率对图像的亮度信号和色差信号进行采样 对图像的亮度信号和色差信号采用不同的采样频率 （Subsampling，子采样） YUV444，YUV422，YUV411，YUV420 YUV420指在水平和垂直方向上每2个连续的采样点上取2个Y样本，1个红色色差Cr样本，1个蓝色色差Cb样本 YUV411水平方向上每4个连续的采样点取4个亮度Y样本，1个红色色差Cr样本，1个蓝色色差Cb样本 YUV格式 H.263支持的图像格式 帧内、帧间编码 帧内编码的 I-frames主要使用JPEG的技术 帧间编码的 P-frames使用与前一帧（预测帧，predicted frame）的差值进行编码，因此当前帧依赖于前一帧 I-frame可以作为随机读取点 Intra Frame Coding Inter-frame (P-frame) Coding Inter-frame (P-frame) Coding 运动估值(motion estimation)，对于当前目标图像中的某一宏块，在参考图像中寻找与之最相似的宏块(best match)，然后对他们的差值进行和帧内编码类似的编码 一般使用“平均绝对差值”(MAD: Mean Absolute Difference)作为判断最匹配块的标准。也可以使用“均方差”(MSE: Mean Squared Errow)? 差值矩阵比较小，编码需要的比特量比较小 还要传送最匹配宏块和当前编码宏块之间相对位置的信息，称为运动向量(motion vector) 用解码后的图像(decoded image)作为参考图像，而不用原始图像 DCT/DPCM 离散余弦变换 (Discrete Cosine Transform; DCT) 差值讯号编码 (Differential Pulse Code Modulation; DPCM) 把影像由空间定义域 (space domain)转换到频率定义域 (frequency domain) DCT 每個 8 x 8小方块里面系数的位置越靠近左上角，它代表的频率越低，越靠近右下角，則它代表的频率越高 大部份的影像能量会集中在低频部份，也就是转换之后的输出系数在低频部份的值较大，而输出系数在高频部份的值很 小。 输出系数经过量化 (quantization)之后，高頻部份的 值大部份都会变为 0 DCT的公式 75％的时间花在DCT上面 量化和扫描 哈夫曼编码 出現几率大的符號用长度短的码表示，出現几率小的符號用长度长的码表示，因而其平均使用的数据量变小 H.261比特流结构 图片层 GOB层 一个GOB包含 k*16行 (k=1 for sub-QCIF, QCIF, and CIF; k=2 for 4CIF; k=4 for 16CIF) MB层 一个macroblock代表16×16的区域. 一般包含 6 blocks ， PB-frame mode 下包含12 blocks Block层 每个block包含 8x8 区域 H.263的改进 半象素精度运动补偿 ?将运动补偿的精度提高到半象素 无限制运动向量? 允许运动矢量指向图像以外的区域。当某一运动矢量所指的参考宏块位于编码图象之外时，就用其边缘的图像像素值来代替这个不存在的宏块。 基于句法的算术编码模式 使用算术编码代替哈夫曼编码，由于算术编码在符号的概率分布不为2的幂的情况下也能逼近压缩的理论极限----符号的熵。 ? 先进的预测，PB帧 在一般情况下，每一宏块对应一个运动矢量。在先进的预测模式下，一个宏块中4个8×8亮度块可以各对应一个运动矢量，从而提高了预测精度，两个色度块的运动矢量则取这4个亮度块运动矢量的平均值。 PB-帧模式可在码率增加不多的情况下使帧率加倍 * * 采样为RGB Qu