基于内容差错控制方法研究与实现.docVIP

基于内容差错控制方法研究与实现 　　摘要：视频在传输过程中会因为信道噪声等原因导致失真，采取差错控制方可以保证视频传输的质量。传统的差错控制方法将视频当成普通的比特流，而忽视了视频的内容特征。提出的基于内容的差错控制方法按照内容特征划分视频结构单元并分配相应的差错控制方法。实验结果表明，该差错恢复方法不仅能有效利用信道带宽，而且可保护显著性区域，使重建的视频更加符合用户的视觉需求，实现用小的代价保护重要的视频内容。 　　关键词：无线多媒体； 差错恢复;差错隐藏;视频分割； 注意力焦点 　　中图法分类号：TP302．8文献标识码：A 　　文章编号：1001－3695(2007)01－0267－02 　　 　　1引言 ?? 　　 　　差错控制的目的是增强视频码流的抗干扰能力和自恢复能力。由于无线信道本身具有带宽复杂多变，延迟抖动大，差错率高等特性，差错控制技术成为保证视频传送质量的关键技术。 　　传统的视频差错控制技术一般采用信号处理的方法，把视频流看成一个比特序列，很少考虑视频本身的内容特征，忽略了视频内容，网络资源和视频质量之间的相互关联。视频流不仅是简单的比特组合，视频的内容包含丰富的语义信息。Paul Bocheck[2]提出内容感知的视频通信框架，将视频内容特征用于动态资源分配和效用函数估计。Pankaj Batra[1]把视频内容引入视频分割打包方案，定义不同类型的重要度，在低比特率信道上提供更加精细的控制颗粒度。但是，这些方法都均未在视频内容和差错恢复方案之间建立很好的关联。本文的方法根据人眼视觉系统注意力的特点，将视频内容划分为三层，按照特征本身的特点和所处的层次分配不同的差错保护方案。在视频流编码时按照镜头的内容特征归纳到相应的镜头类别，使用分配的差错恢复方法，在内容上保证了视觉信息的最大化。?? 　　 　　2基于视频内容的差错控制方案?? 　　 　　2．1视频内容特征的三层结构模型?? 　　人的视觉神经处理光信号的能力是有限的，一般而言，人眼会特别注意视频中出现的人脸或者包围在大片同质区域中的一小块显著区域。对于无线环境中的视频应用，计算量不宜太过复杂，可以采取两种措施减少显著性分析的计算量：①仔细选择可视特征，产生有效的特征值；②把注意力模型看成视频编码的预分析阶段，产生一些有用的中间信息，以减少后期的视频编码工作的负担。本文提出的基于内容的差错控制方法根据人的视觉特性，将引起注意的可视特征分成三个层次，即低层特征包括密度、颜色和方向、中层特征包括运动信息和高层特征指视频镜头中出现的人脸。?? 　　从视觉心理学的角度来说，人脸不仅是高层语义特征，而且特别能够引起注意。按照人脸特征将视频序列可以分成若干个独立的场景单元，每个场景中既有对象的运动，也有相机的运动，按照这些运动特征将场景划分为若干个镜头。每个镜头按照颜色、密度和方向等视觉显著性特征进一步分成若干个帧。因此，按照场景―镜头―单元这三层组织结构，可以相应地将内容特征分成人脸――运动――颜色、密度等低层视觉特征，形成用于差错控制的内容模板，如图1所示。 ?? 　　分别考虑基于人脸特征的场景变化、基于运动特征的镜头变化和基于低层显著性特征的帧变化。不论哪种状态，均可以在图中找到一个叶子节点代表一个视频镜头类别，根据这个镜头类别的特性，可以找到一种最合适的差错控制方法。?? 　　 　　2．2基于内容的差错控制模型?? 　　根据内容模板与差错控制技术之间的联系，可以描述基于内容的差错控制方法框架如图2所示。 　　图2基于内容的差错控制方法框架 　　图中的视频单元指场景、镜头和视频帧的总称，具体选择哪种结构形式根据内容特征的实际情况而定。比如在整个场景中都有人脸出现，并且运动速度稳定，则视频单元定义为场景；如果运动时快时慢则进一步划分为快镜头和慢镜头。这个框架分为三个模块，即基于内容的视频分割、分配差错控制方法和应用差错控制方法。由于视频单元中出现的人脸区域与背景有显著差异，所以采用帧内编码宏块刷新的方法保证这些区域不受差错传播的影响。人眼视觉系统对不同运动速度的敏感性有差异，所以根据运动特征选择差错隐藏方法能够明显提高视觉质量。为了保护镜头中具有显著低层特征（如颜色、密度、方向等）的区域，修改标准数据分区方法，把这些显著性区域的数据全部放在可靠的数据分区，从而达到保护重要信息不被丢失的效果。值得注意的是，这种方法不仅仅是内容与差错控制方法的组合，而且综合考虑了应用类型和信道资源等多种因素。这样的视频流通过模拟信道以后，一旦发现差错，就会应用选定的差错控制方法。由于每个视频单元都具有最佳的重建质量，所以整个视频流也具有很好的恢复效果。在这个差错控制模型中，内容特征是视频单元分类的依据，也是选择差错控制方法的依据。由于视