流媒体编解码技术.pptx

3流媒体编解码技术 3.1 简介 ： （运动图像专家组） 负责制订适用于数字存储媒介、电视广播和通信等应用场合的视频和音频数据的压缩编码标准 1，2，4，7 和 21 南京工程学院计算机工程学院 徐梦溪 3.2 1 和 2 标准 1 标准全称： 1.5 1 标准包括五个部分：系统层；图像层；声音层；一致性测试层；软件仿真技术报告。 第一部分说明了如何根据第二部分（视频）以及第三部分（音频）的规定，对音频和视频进行复合编码。 第四部分说明了检验解码器或编码器的输出比特流符合前三部分规定的过程。 第五部分是一个用完整的C语言实现的编码和解码器。 2 标准全称： 南京工程学院计算机工程学院 徐梦溪 3.2.1 12 标准中的三种编码类型图像 I 帧 采用帧内（离散余弦变换）编码 只利用单帧图像内的空间相关性 由于I帧不依赖其它帧，所以是随机存取的插入点，同时是解码的基准帧。 I帧图像可作为B帧和P帧图像的预测参考帧。 I帧图像是周期性出现在图像序列中的，出现频率可由编码器选择。 P 帧 根据前面最靠近的I帧或P帧进行前向预测 采用带运动补偿的帧间预测编码方式 同时利用空间和时间上的相关性 B 帧 双向预测内插帧 既用已传输的在视频序列中处于该帧前的“过去”帧（I帧或P帧）作预测参考帧。进行前向运动补偿预测；又用后面的“未来”帧（I帧或P帧）作预测参考帧，进行后向运动补偿预测 B帧不能用来作为其他帧进行运动补偿预测的参考帧 采用B帧进行双向运动补偿预测是算法的一个重要特点。适合解决景物中由于物体运动对被遮挡区的预测困难。 如对双向预测的结果进行平均，可降低噪声，因此使序列图像的编码效率提高 南京工程学院计算机工程学院 徐梦溪 3.2.2 视频码流的分层结构 视频数据经过压缩编码后形成视频基本码流（） 用句法规定了一个分层结构 对分层要求：支持通用性、灵活性和有效性 视频基本码流的分层结构 南京工程学院计算机工程学院 徐梦溪 视频基本码流的分层结构： 南京工程学院计算机工程学院 徐梦溪 3.2.2 视频码流的分层结构——层（图像组层） 在两个参考帧之间插入几个B帧？ B帧数目的增加会降低B帧和参考帧之间以及参考帧与参考帧之间的相关性； B帧数目的增加要求增大参考帧中运动估计的搜索范围； B帧数目的增加会增加接收的延迟时间和要求增加接收机内缓存器的容量。 南京工程学院计算机工程学院 徐梦溪 3.2.2 视频码流的分层结构——图像层 包括不同编码类型的图像，即I、B、P帧 1. 1中，逐行扫描（帧格式）； 亮度和色度的采样格式是 4:2:0 2. 2中，逐行或隔行（场格式）扫描； 亮度和色度的采样格式是 4:2:0 或 4:2:2 或 4:4:4 南京工程学院计算机工程学院 徐梦溪 3.2.2 视频码流的分层结构——宏块条层 包括若干个连续宏块，其顺序和行扫描顺序一致 从一个宏块行（16行宽）的任何一个宏块开始 2 中，一个宏块条必须在同一宏块行中起始和结束，且一个宏块条至少包括一个宏块 比特流重新同步的基本单元 南京工程学院计算机工程学院 徐梦溪 3.2.2 视频码流的分层结构——宏块层 运动补偿预测的基本单元。 算法在 P 帧和 B 帧中以宏块为单位自适应地选择合适的运动补偿预测模式（在 I 帧中全部宏块都采用帧内编码模式）。 P 帧中的宏块采用前向运动补偿预测模式；当预测效果不佳时，切换到帧内编码模式。 B 帧中的宏块采用何种模式取决于哪一种模式下对该宏块进行编码时所需的比特数最少。 南京工程学院计算机工程学院 徐梦溪 3.2.2 视频码流的分层结构——像块层 算法中最小的编码单位 8×8 个像素 亮度信号（Y）、色差信号 或 三种图像信息中的一种信息 的基本单元 南京工程学院计算机工程学院 徐梦溪 3.2.3 12 视频编码关键技术 12 视频压缩的原理：利用序列图像中的空间相关性和时间相关性。 空间相关性：一个像素与其周围的某些像素在亮度和色度上存在的关系 时间相关性：一个视频序列中前后帧图像间存在的关系 采用带运动补偿的帧间预测编码和帧内 编码相结合的方案 帧内编码与帧间编码流程的区别：是否经过预测环的处理 南京工程学院计算机工程学院 徐梦溪 3.2.3 12 视频编码关键技术（’d） 1. 离散余弦变换（） 2. 量化器 3. “之”字形扫描与游程编码 4. 熵