mpeg-4 视频码流逻辑结构图.ppt

MPEG-4视频编码和解码 关键技术 2、运动信息编码 运动信息编码可视为现有标准由矩形视频帧向任意形状VOP的延伸； 三种模式：帧内编码模式（I-VOP）、帧间预测编码模式（P-VOP）和帧间双向预测编码模式（B-VOP）； 运动估计可以基于16×16的宏块，同时也支持8×8子块； 为了能够适应任意形状的VOP编码，还引入图像填充技术和多边形匹配技术。 MPEG-4视频编码和解码 对于标准宏块：采用标准的基于块的运动估计和补偿技术； 对于位于VOP边界的轮廓宏块，形状不规则，运动估计与补偿步骤如下： 图像填充技术，使用VOP内部像素值来对外部像素值进行预测，用该灰度值填充轮廓宏块中位于边界以外的像素。 水平填充，根据边缘像素左端或右端最近邻像素点有效灰度值填充，若左右都有合适的则取平均值，否则哪端合适取哪端像素点值； 垂直填充，水平填充后剩下仍为透明的像素部分进行垂直填充，根据上下邻近点灰度值填充。 MPEG-4视频编码和解码 水平填充 垂直填充 MPEG-4视频编码和解码 多边形匹配，根据匹配准则在采用填充技术填充过的重构VOP中，为当前VOP的边缘宏块寻找最佳匹配宏块。“多边形”定义了轮廓宏块中位于VOP以内的部分，以外的部分排除在外。运动估计只对多边形定义的属于VOP活动区域的像素进行。 MPEG-4视频编码和解码 关键技术 3、纹理信息编码 纹理：由许多相互接近、互相编织的元素构成的，并且具有一定程度的规律性或周期性； VOP的纹理信息包含在视频信号的亮度分量和两个色度分量中； VOP纹理编码的对象可以是帧内编码模式I-VOP，也可以是帧间编码模式的P-VOP 或B-VOP运动补偿后的预测误差。 MPEG-4视频编码和解码 纹理编码流程 DCT 量化 系数 预测 系数 扫描 VLC VOP 纹理 码流 MPEG-4视频编码和解码 DCT变换：帧内编码——完全属于VOP内的区域直接做，属于VOP边缘的宏块区域首先填充再做变换；帧间编码——将VOP形状之外的块填充后变换； 量化：采用非线性方式量化； 系数预测（帧内预测）：DCT变换后不直接对系数进行编码，根据已编码子块（上方或左方）的系数得到预测值，对当前块DCT系数和预测系数的残差进行量化和熵编码； 系数扫描：定义了3种扫描方式Zigzag扫描（如果没有DC频段系数预测）、水平交替扫描（如果DC系数进行水平方向预测）和垂直交替扫描（如果DC系数进行垂直方向预测）； 熵编码：在MPEG-4中对于帧内编码块和帧间编码块，DC系数和AC系数分别采用不同的码表； 帧内编码块DC系数用8bit定长码编码，AC系数Huffman编码； 帧间编码块DC和AC系数都采用Huffman编码。 MPEG-4视频编码和解码 九、编码新技术 1、视频对象提取技术 视频编码以任意形状的VOP为单位进行的，编码前要提取独立的VOP信息，针对不同对象进行编码； 视频对象提取（分割）技术是MPEG-4的关键技术之一，是新一代编码的研究热点及难点，标准中没有规定生成VOP 的具体算法； MPEG-4视频编码和解码 VOP提取包括：全自动、半自动（人工输入确定初始帧VOP 的范围通过算法获得初始帧VOP ，后继帧中自动跟踪此VOP 的运动和变化）和人工提取（人工方法将视频对象标记出来，对有意义的对象进行跟踪提取）； 目前的编码机制中大都以16×16的宏块为基本单位，按基于矩形的块编码方案进行，可以与现有面向像素编码标准兼容，又便于面向对象编码技术扩展。 MPEG-4视频编码和解码 九、编码新技术 2、可伸缩编码技术 支持两种可伸缩方式：空域可伸缩和时域可伸缩； 每一种可伸缩至少包括2层VOL，低层为基本层，高层为增强层； 空域可伸缩通过增强层强化基本层的空间分辨率实现，目前只支持矩形VOP ； 时域可伸缩既支持帧（矩形VOP）又支持任意形状VOP。 MPEG-4视频编码和解码 九、编码新技术 3、Sprite对象编码 视频编码中多数视频序列中的背景本身静止或变化缓慢的，可通过图像匹配和拼接将整个视频序列的背景图像拼为一幅完整的全景图像，该序列所有帧背景中出现过的像素点在该背景的全景图中都能找到对应点——Sprite图像； Sprite图像本身不变，整个编码中只需传输一次，接收端根据摄像机运动参数重建背景，避免重复传送，减少传输数据量； MPEG-4视频编码和解码 Sprite全景图生成过程 全局运动估计 仿射变换 合成 帧存 形状图 当前帧 Sprite MPEG-4视频编码和解码 MPEG-4视频编码和解码 MPEG-4视频编码和解码 Sprite编码分3种： 基本Sprite编码 低延时Sprite编码 可伸缩Sprite编码 Sprite的形状和纹理信息都按照I-VOP进行