多描述图像与视频编码.ppt

专题讲座自适应网络传输的多描述编码技术简介 相关课题 在研： 侨办课题：高效的多视点视频编码容错技术的研究。 已结题： 国家自然科学基金项目：网络自适应多描述视频编码的研究 国家自然科学基金项目：基于系数结构一致性的多描述视频分层编码 福建省自然科学基金项目(A0710009 )：网络自适应多描述视频编码 福建省自然科学基金项目(A0410018)：基于系数结构一致性的多描述视频编码 华侨大学自然科学基金项目(06HZR27):多描述3D提升小波视频编码 纲 要 视频编码技术的回顾 问题的提出 现有的传输差错控制技术 多描述编码技术简介 多描述图像编码方案 多描述视频编码方案 视频编码技术回顾 衡量视频编解码器好坏的标准 压缩效率 计算复杂度 抗误码的能力 基本的编码思路 通过帧间预测编码减少时间冗余 通过帧内变换编码减少空间冗余 视频编码国际标准 ISO/IEC：MPEG-1，MPEG-2，MPEG-4，MPEG-7 ITU-T：H.261，H.263，H.264 我国的音视频编码标准 AVS 问题的提出 人们对图像和视频实时传输的需求日益增大。 然而，互联网和无线通信网络的传输信道并不可靠。 解决方案：研究具有差错控制特性的图像、视频编解码方案。 如何实现？ 一、现有的传输差错控制技术 1、基于传输层的差错控制 自动重复请求ARQ(Automatic Repeat Request) 重新发送丢失的分组，因此发送器需要知道丢失分组的序号 不适合实时和多点传送的应用 前向差错修正FEC(Forward Error Correction) 基于奇偶校验码 (parity code)，发送器只需知道分组丢失的概率而不必知道它们的序号。 运用残余的相关信息进行重建的性能受所接收信息数量的影响，不能用于独立等密度分布的无记忆信源。 混合FEC / ARQ技术和不平等差错保护 不平等差错保护是根据比特流中二进制比特的非同等重要性，对重要比特进行重点保护以降低其误码率的一种传输层控制方法。 2、基于信源的差错恢复编码 错误恢复（Error Resilient）：在信源端采用对传输误码具有健壮性的比特流信源编码，引入冗余量，增加编码器输出的比特数，使在比特流传输错误时提高信号的重建质量。 通过周期性地插入重同步标记和数据分割进行错误隔离，把错误的影响隔离在一个有限的区域内； 直接修改二进制编码方法，如可逆变长编码（RVLC）或差错恢复熵编码（EREC），以使比特流更具健壮性； 通过插入帧内块或帧，建立分段预测，减轻由于时间预测引起的传输差错； 设计具有不平等差错保护的分层编码方法（LC）； 设计多描述编码（MDC）方案； 联合信源和信道编码（JSCC）。 3、基于解码端的差错隐藏 错误隐藏（Error Concealment）：尽管传输时的数据可能被损坏或丢失，但解码器可根据到达比特流中的冗余信息进行错误隐藏。在解码器中以一定程度的编码效率和复杂度为代价，抑制差错的影响。 错误隐藏一般采用时间插值和空间插值两种基本方法。 时间插值：用先前帧的数据来重构丢失数据，适用于帧间编码。 空间插值：用相邻空间的信息来重构，适用于帧内编码。 频率域插值 最大平滑恢复 基于模型的恢复 基于语法的恢复 4、基于编解码交互控制的差错控制 利用解码器到编码器的后向信道，让发送端和接收端协同工作，进行差错控制。 参考帧选择性编码 信源编码器根据解码器反馈的信息修改编码参数（如量化步长，编码模式，插入同步标志的频率等），使码率适应信道带宽及传输速率等网络状态。 着眼点不是出现误码如何解救，而是侧重如何使后继的视频能正确接收并解码。 我们的选择 多描述编码 多描述编码技术研究现状 国际上主要从1999年开始研究，目前尚处于初步阶段。 国内目前只有极少数关于多描述视频编码的研究成果。 二、多描述编码技术简介 1、基本思想 当前的信源编码基本上都是采用递进编码，并通过可控制丢失分组重传的TCP协议传输。而传输机制是假设接收端需要所有的分组，增加的分组只有在前面分组都接收到的情况下才有用。 问题： 我们是否需要所有分组？ 为了提高一点点的图像质量而等待重传是否必要？ 如何尽量让接收到的分组发挥作用，从严格的分组顺序和分组重传机制的制约中解脱出来呢？ 2、多描述体系结构 将一个信源分成多个码流（描述），经不同的信道传输。 每个描述的重要性一致。 MDC编码器：产生多个描述，每一个描述既包含自身的重要信息，又包含其他描述的保护信息。 接收到所有的描述时：信号可以获得高质量的重建效果。 只接收到一部分的描述时：信号仍可获得一定的重建效果。 3、多描述评价机制 速率失真函